4/17/2014

1

Effect sizes

• r, R2 (adjusted R‐squared), η2 (partial η2), Cohen’s D

• Eta‐squared and Cohen's d provide two differenttypes of effect size and both may be appropriateand useful in reporting the results of ANOVA.

• Eta‐squared indicates the % of variance in the DV attributable to a particular IV. 

• Cohen's d indicates the size of difference between two means in standard deviation units.

• η2= SSbetween / SStotal = SSB / SST– = proportion of variance in Y explained by X– = Non‐linear correlation coefficient– = proportion of variance in Y explained by X

• ranges between 0 and 1.• Interpret as for r2 or R2; a rule of thumb (Cohen):

– .01 ~ small– .06 ~ medium– .14 ~ large

• The eta‐squared column is not provided by SPSS, however, it is available in V 18.0. It can also be calculated manually: = Between‐Groups Sum of Squares / Total Sum of Squares.

4/17/2014

2

4/17/2014

3

4/17/2014

4

Statistical power

Power -> .10 .20 .30 .40 .50 .60 .70 .80 .90Effect size |.01 21 53 83 113 144 179 219 271 354.06 5 10 14 19 24 30 36 44 57.15 3 5 6 8 10 12 14 17 22

If you think that the effect is small (.01), medium, (.06) or large (.15), and you want to find a statistically significant difference defined as p<.05, this table shows you how many participants you need for different levels of “sensitivity” or power.

Statistical power is how “sensitive” a study is detecting various associations (magnification metaphor)

4/17/2014

5

Statistical power

What is adequate power? .50 (most current research).80 (recommended)

How do you know how much power you have? Guess work

Two ways to use power:1. Post hoc to establish what you could find2. Determine how many participants need

What determines power?

1. Number of subjects

2. Effect size

3. Alpha level

4/17/2014

6

How increase power?

1. Increase region of rejection to p<.10

2. Increase sample size

3. Increase treatment effects

4. Decrease within group variability

• Power = 1 ‐ type 2 error

• Type 1 and Type 2 errors

4/17/2014

7

Type 1 and Type 2 error

Type I Error

Rejecting the null hypothesis when it is in fact true is called a Type I error. (p=.03, p=.23)

Type II Error

Not rejecting the null hypothesis when in fact the alternate hypothesis is true is called a Type II error. 

Putting concepts together

Truth 

(for population studied)

Null 

Hypothesis 

True

Null 

Hypothesis 

False

Decision 

(based on 

sample)

Reject Null 

HypothesisType I Error

Correct 

Decision

Fail to reject 

Null 

Hypothesis

Correct 

DecisionType II Error

4/17/2014

8

Putting concepts togetherTruth

Not Guilty Guilty

Verdict

Guilty 

Type I Error ‐‐ Innocent 

person goes to jail (and 

maybe guilty person goes 

free)

Correct Decision

Not Guilty Correct Decision

Type II Error ‐‐

Guilty person goes 

free

An example

Null hypothesis is false Null hypothesis is true

Reject null hypothesis Merit pay works and we know it

We decided merit pay worked, but it doesn’t.

TYPE 1

Do not reject null hypothesis We decided merit pay does not work but it does.

TYPE 2

Merit pay does not work and we know it.

Type 1 error: think something is there and there is nothingType 2 error: think nothing is there and there is

4/17/2014

9

An example

Imagine the following research looking at the effects of the drug, AZT, if any, on HIV positive patients.  In others words, does a group of AIDs patients given AZT live longer than another group given a placebo.  If we conduct the experiment correctly ‐ everything is held constant (or randomly distributed) except for the independent measure and we do find a different between the two groups, there are only two reasonable explanations available to us:

From Dave Schultz:

Null hypothesis is false

Null hypothesis is true

Reject null hypothesis

Do not reject null hypothesis

• Educational consultants were hired by a progressive California school district to study the effectiveness of competitive vs. cooperative learning. The school district was known for its highly competitive philosophy, for which it was criticized despite its successful student test scores on national assessments. The educational consultants researched several school districts nationwide and in Japan. They found that school districts that operated with a cooperative model had significantly higher test scores and higher student satisfaction than the completive schools (i.e., investigators rejected the null hypothesis). The completive school district is strongly considering a bond measure in the next election to fund a change to the cooperative model with estimated costs of approximately 250 million dollars.

4/17/2014

10

• Investigators are researching a new vaccine to prevent the onset of AIDS in HIV positive subjects. One hundred HIV positive subjects volunteered to participate. Half of the subjects (N=50) were randomly assigned to Condition 1, which received the experimental vaccine, while the other half (N=50) were assigned to Condition 2, which received a placebo. Medically the vaccine results looked very encouraging, but statistically significant differences between the groups were not attained. The researchers failed to reject the null hypothesis (p<.01) and the public is denied possible treatment.

Study feature Practical way of raising power

Disadvantages

Predicted difference Increase intensity of experimental procedures

May not be practical or distort study’s meaning

Standard deviation Use a less diverse population

May not be available, decreases generalizability

Standard deviation Use standardized,controlled circumstances of testing or more precise measurement

Not always practical

Sample size Use a larger sample size Not practical, can be costly

Significant level Use a more lenient level of significance

Raises alpha, the probability of type 1 error

One tailed vs. two tailed test

Use a one-tailed test May not be appropriate to logic of study

4/17/2014

11

Outcome statistically significant

Sample Size Conclusion

Yes Small Important results

Yes Large Might or might not have practicalimportance

No Small Inconclusive

No Large Research H. probably false

Experiment 4: U.S. Undergraduates

11.5

22.5

33.5

44.5

55.5

66.5

7

Prof. uncaring Prof. caring

Pro

fess

or's

tru

stw

orth

ines

s

Prof. competentProf. incompetent

4/17/2014

12

Confidence intervals

4/17/2014

13

• Write down the phenomenon you'd like to test. Let's say you're working with the following situation: The average weight of a male student in ABC University is 180 lbs.You'll be testing how accurately you will be able to predict the weight of male students in ABC university within a given confidence interval.

• Select a sample from your chosen population. This is what you will use to gather data for testing your hypothesis. Let's say you've randomly selected 1,000 male students.

4/17/2014

14

• Calculate your sample mean and sample standard deviation.Choose a sample statistic (e.g., sample mean, sample standard deviation) that you want to use to estimate your chosen population parameter. A population parameter is a value that represents a particular population characteristic. Here's how you can find your sample mean and sample standard deviation:– To calculate the sample mean of the data, just add up all of the 

weights of the 1,000 men you selected and divide the result by 1000, the number of men. This should have given you the average weight of 186 lbs.

– To calculate the sample standard deviation, you will have to find the mean, or the average of the data. Next, you'll have to find the variance of the data, or the average of the squared differences from the mean. Once you find this number, just take its square root. Let's say the standard deviation here is 30 lbs. (Note that this information can sometimes be provided for you during a statistics problem.)

• Choose your desired confidence level. The most commonly used confidence levels are 90 percent, 95 percent and 99 percent. This may also be provided for you in the course of a problem. Let's say you've chosen 95%.

4/17/2014

15

• Calculate your margin of error. You can find the margin of error by using the following formula: Za/2 * σ/√(n). Za/2 = the confidence coefficient, where a = confidence level, σ = standard deviation, and n = sample size. This is another way of saying that you should multiply the critical value by the standard error. Here's how you can solve this formula by breaking it into parts:– To find the critical value, or Za/2: Here, the confidence level is 95%. 

Convert the percentage to a decimal, .95, and divide it by 2 to get .475. Then, check out the z table to find the corresponding value that goes with .475. You'll see that the closest value is 1.96, at the intersection of row 1.9 and the column of .06.

– Take the standard error, take the standard deviation, 30, and divide it by the square root of the sample size, 1,000. You get 30/31.6, or .95 lbs.

– Multiply 1.96 by .95 (your critical value by your standard error) to get 1.86, your margin of error.

• State your confidence interval. To state the confidence interval, you just have to take the mean, or the average (180), and write it next to ±and the margin of error. The answer is: 180 ±1.86. You can find the upper and lower bounds of the confidence interval by adding and subtracting the margin of error from the mean. So, your lower bound is 180 ‐ 1.86, or 178.14, and your upper bound is 180 + 1.86, or 181.86.– You can also use this handy formula in finding the confidence interval: x̅ ± Za/2 * σ/√(n). Here, x ̅represents the mean.