AGA 0505- Análise de Dados em Astronomia I

5. Testes de Hipótese

Laerte Sodré Jr.

1o. semestre, 2019

1 / 26

aula de hoje:

1 testes de hipóteses: procedimentobásico

2 o valor p3 erros nos testes de hipótese4 decisão nos testes de hipótese5 comparação da média de duas

distribuições6 comparação de variâncias7 teste do χ2: ajuste de funções8 teste do χ2: comparação de

distribuições

9 teste do χ2: associação entre variáveisnominais

10 comparação de distribuições comKolmogorov-Smirnov

11 correlação entre duas variáveis12 coeficiente de correlação de Pearson13 coeficiente de correlação de Spearman

That is the curse of statistics, that it can never prove things, only disprove them!

Numerical Recipes- Press, Teukolsky, Vetterling & Flannery

2 / 26

Teste de Hipóteses

teste de hipóteses: procedimento básico usando o ’valor p’

suponha que queremos saber se, porexemplo, duas amostras têm a mesmamédia ou a mesma variânciapara tomar uma decisão aplicamostestes de hipótesemétodo mais usado: procedimentofrequentista baseado no valor p:

define-se a estatística que se querusar: média, dispersão, ...suponha conhecida a distribuiçãodessa estatísticaestabeleça a hipótese nula H0 que sequer testarescolha um nível de confiança α

calcule p: probabilidade de sedescartar H0 dado α:área sob a distribuiçãocorrespondente à estatística testadatome uma decisão sobre H0comparando p e α

3 / 26

Teste de Hipóteses

teste de hipóteses: procedimento básico

os dados são consistentes com umacerta hipótese?exemplo: a amostra foi extraída deN(µ, σ)?H0: hipótese nula: a amostra éconsistente com N(µ, σ)

sempre supomos que conhecemos apdf associada a H0

C(x): distribuição cumulativa da pdf dex: 0 ≤ C(x) ≤ 1qual é a probabilidade de se ter umvalor maior que xi?valor p: p = P(x > xi) = 1− C(xi)

adota-se um nível de significância αex.: α = 0.05 (5%)

compara-se p e α: H0 é rejeitada sep ≤ αnote que falhar em rejeitar H0 nãoimplica que H0 é verdadeira!ex: nossa amostra pode ser muitopequena para se detectar o efeito

4 / 26

Teste de Hipóteses

decisão no teste de hipóteses- o valor p

decisão no teste de hipóteses- valor p:p: área sob a distribuiçãocorrespondente à estatística testadap: probabilidade sob H0 de seobservar uma estatística teste maisextrema que a observada dado umnível de significância αse p ≤ α, rejeita-se H0se p > α, H0 não é rejeitadatestes right-sided, left-sided,two-sided

para uma hipótese ser rejeitada, pdeve ser pequeno!

5 / 26

Teste de Hipóteses

duas distribuições têm a mesma média?

Student era o pseudônimo de WilliamSealy Gosset, um químico trabalhandopara a cervejaria Guinness na Irlanda

ele desenvolveu a estatística t paramonitorar a qualidade do stout!

6 / 26

Teste de Hipóteses

duas distribuições têm a mesma média?

vamos supor que nossa teoria digaque o movimento próprio de umaglomerado estelar sejaµ0 = 0.075 arcsec/yr“teoria”: H0 : µ = µ0em uma amostra de N=15 estrelasmedimos µ = 0.078 arcsec/yr eσs = 0.005 arcsec/yra medida é consistente com a teoria?para testar a média de uma populaçãousa-se a estatística t:

t∗ =µ− µ0

σs/√

N= 2.5,

usa-se uma distribuição t com N − 1graus de liberdade para se estimar p

teste right-tailed: µ = µ0 vs µ > µ0:p=0.0127

teste two-tailed: µ 6= µ0:p=0.0127 + 0.0127 = 0.0254

com nível de confiança α = 0.05, emtodos os casos rejeitamos H0com α = 0.01, a hipótese nula nãoseria rejeitada

7 / 26

Teste de Hipóteses

comparação de variâncias

dados dois conjuntos de dados, {xi} e{yi}, com N e M elementos,respectivamente, queremos testarH0: σx = σy

para distribuições gaussianas aestatística-teste é a F

a estatística-teste

F =

∑Ni=1(xi − x)2/(N − 1)∑Mj=1(yi − y)2/(M− 1)

=σ2

xσ2

y

segue uma distribuição F comν1 = N − 1 e ν2 = M− 1graus de liberdade

distribuição F com ν1 = N − 1 eν2 = M− 1 graus de liberdade:

F(x) =Γ(ν1+ν2

2 )(ν1ν2

)ν12 x

ν12 −1

Γ(ν12 )Γ(ν2

2 )(1 + ν1ν2

x)ν1+ν2

2

8 / 26

Teste de Hipóteses

exemplo: a estrela X é variável?

considere uma série de imagens CCDde um campo estelar tomadas emdiferentes épocas

cada imagem tem centenas deestrelas; as magnitudes em cadaépoca são medidas e as variânciasdas magnitudes de cada estrela emtodas as épocas são medidas

como a maioria das estrelas não sãovariáveis (na escala de tempoconsiderada) vamos assumirinicialmente que X não é variável:“hipótese nula” H0: X não é variável

intuitivamente, nossa decisão sobre Xvai depender de como a variância dasmagnitudes de X (σ2

X) se compara comas das demais estrelas (σ2

∗)se σ∗ = 0.10 mag, você aceitaria ourejeitaria H0 se σX = 0.08 mag?e se σX = 0.48?

9 / 26

Teste de Hipóteses

erros no teste de hipótese

hipótese nula H0:H0: X não é variávelH1: uma hipótese alternativa

note que:a rejeição de H0 não implica que H1 seja verdadeiraa não rejeição de H0 não implica que H0 seja verdadeira

tipos de erro:erro tipo I: H0 é rejeitada quando é verdadeira (falso positivo)erro tipo II: H0 não é rejeitada quando é falsa (falso negativo)

note que esses erros dependem apenas de H0, não de H1

variabilidade verdadeiradecisão não variável variávelnão variável ok! erro tipo IIvariável erro tipo I ok!

verdadedecisão H0 H1H0 ok! erro tipo IIH1 erro tipo I ok!

10 / 26

Teste de Hipóteses

Nature, 21/03/2019

uma semana depois:

11 / 26

o χ2

ajuste de funções: o χ2

para desvios gaussianos, a estatísticaχ2 para o ajuste de uma função de Mparâmetros,

χ2 =

N∑i=1

(yi − f (xi; w))2

σ2i

,

tem uma distribuição χ2 comν = N −M graus de liberdadefdp da função χ2 com ν graus deliberdade:

f(x; ν) =

xν/2−1e−x/2

2ν/2Γ(ν/2)x > 0

0 x ≤ 0

qualidade do ajuste: pode serdeterminado pelo valor pem geral um ajuste razoavelmentebom tem χ2 ≈ νmuitas vezes se aplica este métodomesmo sem se saber se os erros sãogaussianos...

12 / 26

o χ2

comparação de duas distribuições: o χ2

suponha que temos uma distribuiçãodiscreta com Ni eventos em cada bin eque ni é o número esperado de acordocom uma distribuição conhecida (os Nisão inteiros enquanto que os ni podemser reais ≥ 0)

nossa hipótese nula é que asdistribuições são iguais

nesse caso a estatística χ2 é definida

como

χ2 =

Nbin∑i=1

(Ni − ni)2

ni

(termos com Ni = 0 e ni = 0 devem seromitidos da soma)se o χ2 é calculado com os nideterminados pelo modelo (isto é, semrenormalizar tal que

∑ni =

∑Ni),

então ν = Nbin; caso contrárioν = Nbin − 1

13 / 26

o χ2

comparação de duas distribuições: o χ2

caso de dois conjuntos binados e como mesmo número de bins, {Ni} e {Mi}inteiros

χ2 =

Nbin∑i=1

(Ni −Mi)2

Ni + Mi

o teste supõe que os desvios entre Nie ni (ou entre Ni e Mi) são devidos aflutuações estatísticas de Poisson queocorrem por acasoqual é a probabilidade de um valor deχ2 igual ou maior que o observado?

definindo-se um nível de significância,pode se fazer um teste de hipóteseusando-se o valor p

14 / 26

o χ2

tipos de variáveis

convém distinguir entre 3 tipos de variáveis:nominal: os valores são membros de um conjunto não-ordenado:Ex.: tipos morfológicos de galáxias; os nomes dos estados do Brasilordinal: os valores são membros de um conjunto ordenado discreto:Ex.: a ordem dos planetas, a sequência de pré-requisitos de uma disciplinao que importa é que os valores estão intrinsecamente ordenadoscontínua: os valores são números reaisEx.: distâncias, tempo

uma variável contínua pode ser transformada em ordinal por binagem e em nominal se aordem dos bins for desconsiderada

15 / 26

o χ2

associação entre duas variáveis nominais: o χ2

tabela de contingência: as linhascorrespondem aos valores de umavariável nominal e as colunas aosvalores da outra

valores da tabela: o número de casospara cada combinação de linha ecoluna- Nij

Morphological Type x Hα profile typetypes Central ExtendedE-S0 29 1

S-early 12 11S-late 22 11

H0: as duas variáveis, x e y, não estãoassociadasnesse caso, P(x|y) = P(x)

nij: número esperado sob H0 para acélula i, j

P(i|j) =nij∑i Nij

= P(i) =

∑j Nij

N

e, portanto,

nij =(∑

j Nij)(∑

i Nij)

N

16 / 26

o χ2

associação entre duas variáveis nominais: o χ2

células nulas não são consideradas naanálisea estatística

χ2 =∑

i,j

(Nij − nij)2

nij

se distribui como χ2 comν = LC− L− C + 1 graus de liberdade,onde L e C são, respectivamente, onúmero de linhas e o número decolunasneste exemplo temos, para nij:

types Central ExtendedE-S0 29 1

S-early 12 11S-late 22 11

valor do χ2/ν (com 2 graus deliberdade): 7.17

o que pode dizer de H0 com esse valorde χ2? p: 0.0007688102problema: o χ2 funciona bem paramedir a significância de umaassociação, mas não para determinarse a correlação é forte ou não:o significado dos valores numéricosnuma tabela de contingência não éóbvio: qual é a “distância” entre doistipos morfológicos?

17 / 26

o χ2

o teste do χ2 para distribuições discretas

o χ2 foi proposto por Pearson em 1900 e é uma das técnicas de maior impacto naciência!o χ2 é fácil de ser computado e de ser interpretado, pois a média do χ2 é igual aonúmero de graus de liberdade ν e sua variância é igual a 2νexemplo: para um número de bins ≥ 4, se o valor de χ2 for da ordem de ν, aceite H0,se for o dobro disso, você provavelmente deverá rejeitar H0

é comum usarmos o χ2 reduzido, χ2/ν:se for da ordem da unidade aceita-se H0, se for muito maior, rejeita-seproblemas com este teste:

os dados devem ser divididos em intervalos (binados)os intervalos devem ser suficientemente grandes para evitar flutuações estatísticasmuito grandesregra: mais de 80% dos intervalos devem ter Ni > 5; se necessário, combine intervalospara garantir que isso se verifique (para N pequeno ver Numerical Recipes sec. 14.3.2)

18 / 26

o χ2

comparação de duas distribuições: teste de Kolmogorov-Smirnov

o teste KS se aplica a conjuntos dedados não binados que representamuma certa variável, x

SN(x): distribuição cumulativa dosdados (N) elementossendo xi o conjunto de dadosordenados do menor para o maior,

SN(x) =

∑ixi≤x xi∑N

i xi

o teste KS compara duas distribuiçõescalculando a distância máxima entresuas distribuições cumulativas

se St(x) for a distribuição cumulativade um modelo, calcula-se

D = max|SN(x)− St(x)|

para duas distribuições diferentescumulativas de dados a estatística KSé

D = max|SN1(x)− SN2(x)|

19 / 26

o χ2

comparação de duas distribuições: teste de Kolmogorov-Smirnov

a estatística D é útil pois suadistribuição pode ser calculada nocaso de H0: “as duas distribuições sãoiguais”, permitindo a aplicação de umteste do valor pKS tem duas vantagens em relação aoχ2: não perde informação por conta deagrupamento e funciona bem paraamostras pequenasKS não é sensível nos extremos dadistribuição: ver NR seção 14.3.4 paraversões “turbinadas” do teste

20 / 26

correlação entre duas variáveis

Correlação entre duas variáveis

vamos considerar agora medidas deassociação entre duas varíaveis

uma variável está correlacionada oudepende da outra?

o conhecimento de uma variável ajudaa saber o valor da outra?

cuidado: correlações podem nãosignificar que as variáveis estejamintrinsecamente correlacionadas

exemplo: efeitos de seleção!

21 / 26

correlação entre duas variáveis

distribuição de probabilidades bivariada

P(x, y)dxdy: probabilidade de se encontrar x entre x e x + dx ey entre y e y + dy ∫ ∞

−∞

∫ ∞−∞

P(x, y)dxdy = 1

médias:µx =

∫∞−∞

∫∞−∞ xP(x, y)dxdy

µy =∫∞−∞

∫∞−∞ yP(x, y)dxdy

variâncias:Vx =

∫∞−∞

∫∞−∞(x− µx)2P(x, y)dxdy

Vy =∫∞−∞

∫∞−∞(y− µy)2P(x, y)dxdy

covariância:Cov(x, y) = Vxy =

∫∞−∞

∫∞−∞(x− µx)(y− µy)P(x, y)dxdy

variância da soma z = x + y:Vz = Vx + Vy + 2Vxy

variância da subtração w = x− y:Vw = Vx + Vy − 2Vxy

distribuições marginais:P(x) =

∫∞−∞ yP(x, y)dy

P(y) =∫∞−∞ xP(x, y)dx

desvios padrão:

σx = V1/2x , σy = V1/2

y , σxy = Vxy

se x e y são não-correlacionados (σxy = 0), x e y são independentes:P(x, y) = P(x)P(y)

22 / 26

correlação entre duas variáveis

distribuição gaussiana bivariada

gaussiana bivariada:

P(x, y|µx, µy, σx, σy, σxy) =1

2πσxσy√

1− ρ2exp

(−

Z2

2(1− ρ2)

)

onde

Z2=

(x− µx)2

σ2x

+(y− µy)2

σ2y

− 2ρ(x− µx)(y− µy)

σxσy

coeficiente de correlação:

ρ =σxy

σxσy

contornos P(x, y) = cte: elipses

vamos supor que temos um conjuntode N dados {xi, yi} e queremos saberse x e y estão correlacionadoso coeficiente de correlação de Pearsoné dado por:

r =1

N − 1

N∑i=1

(xi − x

σs,x

)(yi − y

σs,y

)

desvios padrão da amostra:

σ2s,x =

1

N − 1

N∑i=1

(xi − x)2

σ2s,y =

1

N − 1

N∑i=1

(yi − y)2

23 / 26

correlação entre duas variáveis

coeficiente de correlação linear de Pearson

o coeficiente de correlação de Pearsonmede a força de uma correlaçãopara se determinar a significância deum valor não nulo de r calcula-se aestatística

ts = r√

N − 21− r2

variáveis independentes e distribuídascomo gaussianas bivariadas:ts obedece a distribuição t(ν) deStudent com ν = N − 2 graus deliberdade

24 / 26

correlação entre duas variáveis

coeficiente de correlação não-paramétrico de Spearman

testes não-paramétricos: nãopressupõem uma forma para adistribuição dos dados

suponha que se ordene os dados {xi}e {yi} tal que {Xi} e {Yi} representema posição dos dados na sequênciaordenada: 1 < Xi < N e 1 < Yi < N

coeficiente de correlação de ordem deSpearman:

rS = 1− 6∑N

i=1(Xi − Yi)2

N3 −N

Spearman é mais robusto quecorrelação linear: se a correlação édetectada, provavelmente é real

Spearman mede monotonicidade: rs éo mesmo para a relação entre x e y epara log x e log y (por exemplo, para xe y positivos)

para N > 30 a estatística

tS = rS

√(N − 2)/(1− r2

S) se distribuicomo t(ν = N − 2) de Student

25 / 26

correlação entre duas variáveis

exercícios

1 Um estudante precisa testar as hipóteses H0 : µ = 80 e H1 : µ > 80 com α = 0.05. Analisando a amostra, ele calcula o valor p, 0.214, e conclui que"este resultado prova que H0 é verdadeiro”. Comente esta conclusão e a reescreva corretamente.

2 Aplique o teste F à discussão da página 9.

3 Suponha que se espere que um aglomerado tenha 60% de galáxias elípticas e lenticulares e 40% de espirais. Numa amostra de 100 galáxias se encontra53 early-types e 47 late-types. Podemos concluir que esta amostra é representativa da ppulação? Use o teste do χ2 para testar as hipóteses H0: a fraçãode E+S0 é 60% e H1: a fração de E+S0 é diferente de 60%, usando um nível de confiança de 0.05.

4 A função ks.test do R permite fazer testes comparando duas amostras (two-sample test) ou comparando os dados com uma distribuição (one-sample test).Considere a sequência de 8 pontos 1.41, 0.26, 1.97, 0.33, 0.55, 0.77, 1.46, 1.18. Existe alguma evidência de que estes dados não resultem de umadistribuição uniforme entre 0 e 2? Faça um teste de Kolmogorov-Smirnov.

26 / 26