Tema 7 - webs.ucm.eswebs.ucm.es/info/Astrof/POPIA/asignaturas/ana_dat_est/tema07.pdf · de bondad...
of 21
/21
Embed Size (px)
Transcript of Tema 7 - webs.ucm.eswebs.ucm.es/info/Astrof/POPIA/asignaturas/ana_dat_est/tema07.pdf · de bondad...
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-1
Tema 7Tema 7Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra
IntroducciónMetodología del contraste de hipótesisMétodos no paramétricos
Test
binomialTest
de los signosTest
de rango con signos de Wilcoxon
Test
de bondad del ajuste: χ2
Test
de bondad del ajuste: Kolmogorov-SmirnovTest
de corridas
Métodos bayesianosContraste para la media de una población normal
Ejemplo: cúmulos globulares de la Galaxia
IntroducciónMetodología del contraste de hipótesisMétodos no paramétricos
Test
binomialTest
de los signosTest
de rango con signos de Wilcoxon
Test
de bondad del ajuste: χ2
Test
de bondad del ajuste: Kolmogorov-SmirnovTest
de corridas
Métodos bayesianosContraste para la media de una población normal
Ejemplo: cúmulos globulares de la Galaxia
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-2
IntroducciIntroduccióónn
Contrastes de hipótesis
Estimación de parámetros –
ajuste de modelos
Contrastes de hipótesis
Estimación de parámetros –
ajuste de modelos
El contraste de hipótesis permite tomar decisiones (¿son los datos consistentes con un cierto modelo? ¿se ajustan a una cierta distribución de probabilidad? ¿es la muestra consistente con otra muestra? ¿hay correlación?
Métodos paramétricos Métodos no paramétricos
Contrastes clásicos
Muestras grandesDistribución de probabilidad conocidaDatos cuantitativos
Muestras pequeñasDistribución de probabilidad desconocidaVálidos para datos de rango y cualitativos
Contrastes bayesianos
Distribución de probabilidad conocidaSe calcula la probabilidad de la hipótesisMétodo más directo para incorporar nuevo conocimiento y entender las incertidumbres
No existen
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-3
MetodologMetodologíía del contraste de hipa del contraste de hipóótesistesis
Contraste bilateral
α:
nivel de significación
región crítica región crítica región crítica
región de aceptación
región de aceptación
región de aceptación
Contrastes unilaterales
Formulación de las hipótesis:Hipótesis nula (H0 ) vs Hipótesis alternativa (H1 )
•
Aceptación de la hipótesis nula → los datos no están en contra
•
Rechazo de la hipótesis nula → los datos indican que es improbable que sea cierta
Se utiliza un estadístico de prueba con distribución conocida en el caso de que H0
sea cierta
Ejemplo: media de una población normal
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-4
MMéétodos no todos no paramparaméétricostricos
Test
para el parámetro de una población binomial:Test
binomial
Tests
para la mediana de una población o para comparar observaciones pareadas:
Test
de los signosTest
de rango con signos de Wilcoxon
Tests
de bondad del ajuste a una distribución o a un modelo:
Test
χ2
Test
de Kolmogorov-Smirnov
(1 muestra)Test
para comprobar la aleatoriedad de una secuencia:Test
de corridas
Test
para el parámetro de una población binomial:Test
binomial
Tests
para la mediana de una población o para comparar observaciones pareadas:
Test
de los signosTest
de rango con signos de Wilcoxon
Tests
de bondad del ajuste a una distribución o a un modelo:
Test
χ2
Test
de Kolmogorov-Smirnov
(1 muestra)Test
para comprobar la aleatoriedad de una secuencia:Test
de corridas
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-5
TestTest
binomialbinomialTest
para el parámetro de una distribución binomial
Sea una muestra binomial: n ensayos independientes, con O1 éxitos y O2
fracasosp: probabilidad de éxito en un ensayo (cte
para todos los ensayos)
H0
se acepta si:
Es la base de tests
más elaborados y versátiles que se pueden aplicar a variables no binomiales
(NO aplicar este test
a otro tipo de variables).
Válido para muestras pequeñas. Para muestras grandes, la binomial
se aproxima por una normal.
El test
de los signos es el más directo y potente.
Es la base de tests
más elaborados y versátiles que se pueden aplicar a variables no binomiales
(NO aplicar este test
a otro tipo de variables).
Válido para muestras pequeñas. Para muestras grandes, la binomial
se aproxima por una normal.
El test
de los signos es el más directo y potente.
Se buscan los valores críticos t1
y t2
tales que, bajo la hipótesis nula:
Bilateral:
Unilateral:
H0
se acepta si:
(no se puede hacer para cualquier α)
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-6
TestTest
de los signosde los signosPrueba no paramétrica
para contrastar la mediana de una población.
H0
se acepta si:
Se puede utilizar para probar la igualdad de medias en observaciones pareadas. Cada par de valores Xi , Yi
se reemplaza por un signo + o –
dependiendo de cual sea mayor
Se puede utilizar para probar la igualdad de medias en observaciones pareadas. Cada par de valores Xi , Yi
se reemplaza por un signo + o –
dependiendo de cual sea mayor
Se reemplaza cada valor de la muestra por un signo + o –
dependiendo de si es mayor o menor que la mediana poblacional.
Bilateral:
Para muestras grandes (n > 10): Aproximación a la normal.
Mediana de una población
Los valores iguales a la mediana se excluyen de la muestra
X: nº
de signos + en la muestra (variable aleatoria binomial)
→ Se realiza un test
binomial
con
p = 0.5
Aplicable a datos dicotómicos y de rango.Algo menos eficiente que el test
t para distribuciones normalesMucho más fiable que el test
t si la distribución tiene grandes colas.
Aplicable a datos dicotómicos y de rango.Algo menos eficiente que el test
t para distribuciones normalesMucho más fiable que el test
t si la distribución tiene grandes colas.
Para α=0.05
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-7
TestTest
de rangos con signo de de rangos con signo de WilcoxonWilcoxonModificación del test
de los signos para tener en cuenta las magnitudes de las diferencias con la mediana. Sólo se puede aplicar si la distribución es simétrica y continua
H0
se acepta si:
Se puede utilizar para probar la igualdad de medias en observaciones pareadas(no hace falta suponer simetría).Se puede utilizar para probar la igualdad de medias en observaciones pareadas(no hace falta suponer simetría).
•
Se calculan las diferencias respecto a la mediana poblacional.
•
Se asignan rangos a las diferencias absolutas de menor a mayor (sin tener en cuenta el signo; si hay empates se asignan los rangos medios)
•
Se calculan:
Bilateral:
Para muestras grandes (n > 15): Aproximación a la normal.
Unilateral:
Bilateral: H0
se acepta si:Unilateral:
Comparado con el test
t, la eficiencia (A.R.E.) es > 0.864
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-8
Valores crValores crííticos para el ticos para el testtest
de rangos con signo de de rangos con signo de WilcoxonWilcoxon
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-9
Ejemplo: CEjemplo: Cúúmulos mulos globulares de la Galaxiaglobulares de la Galaxia
Cúmulo M(K) Cúmulo M(K) Cúmulo M(K)
47 Tuc -11.79 NGC 6235 -8.359 M 28 -10.557
NGC 362 -10.694 NGC 6256 -10.374 M 69 -9.803
NGC 1261 -9.452 M 62 -12.318 Pal
8 -8.478
Eridanus
4 -5.14 M 19 -12.279 M 54 -12.717
Pal
2 -13.515 NGC 6284 -10.775 NGC 6723 -10.229
NGC 1851 -10.591 NGC 6287 -10.706 Be42 19 -6.7
NGC 2298 -8.825 NGC 6304 -11.042 NGC 6760 -11.649
NGC 2419 -11.687 NGC 6316 -12.452 M 55 -9.199
NGC 2808 -11.687 NGC 6325 -10.481 M 75 -10.929
NGC 4147 -7.633 M 9 -10.611 NGC 7006 -9.696
NGC 4833 -11.347 NGC 6342 -9.825 M 2 -10.682
M 53 -10.284 NGC 6356 -11.74 M 30 -8.759
NGC 5286 -11.046 NGC 6355 -11.163 Pal
12 -6.97
NGC 5694 -9.991 NGC 6366 -8.558 NGC 7492 -7.365
IC 4499 -9.083 Ton 1 -12.693 2MASS GC01 -10.21
NGC 5824 -11.339 NGC 6388 -13.509 2MASS GC02 -12.667
NGC 5927 -11.183 NGC 6401 -10.578 NGC 288 -7.741
NGC 5946 -10.845 NGC 6440 -14.205 M 79 -9.372
NGC 5986 -11.418 NGC 6441 -13.294 omega Cen -11.747
M 80 -10.16 NGC 6453 -10.922 NGC 5466 -7.273
M 4 -10.091 NGC 6496 -9.227 NGC 5634 -9.088
NGC 6101 -8.662 NGC 6517 -13.34 NGC 5897 -8
NGC 6144 -9.497 NGC 6539 -12.565 NGC 6293 -9.253
NGC 6139 -12.647 NGC 6544 -11.478 M 92 -7.19
M 107 -10.019 NGC 6553 -12.36 NGC 6642 -8.73
M 13 -10.206 Pal
7 -10.584 NGC 6652 -8.079
NGC 6229 -10.388 NGC 6569 -10.962 Pal
9 -7.509
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-10
Ejemplo: CEjemplo: Cúúmulos globulares de la Galaxiamulos globulares de la Galaxia
Contraste para la media (¿puede ser la magnitud media igual a -10?
Test
de los signos:
30 signos +
51 signos –
30 signos +
51 signos –
Se rechaza para α=0.05
Test
de Wilcoxon: Se asignan rangos a los |Di |
Se acepta para α=0.05
Pero se ha supuesto distribución simétrica
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-11
TestTest
de bondad del ajuste: de bondad del ajuste: χχ22
¿Se ajusta la muestra a un determinado modelo o a una determinada
distribución de probabilidad?
Los datos se agrupan en k intervalos Oi : frecuencias observadas en cada intervalo
Ei : frecuencias esperadas si se cumple el modelo
Si H0 es cierta: es una χ2
con k - 1 grados de libertad
λ
> 5
H0
se acepta si:Si no se cumple que todos los Ei > 5, se unen varios intervalos
(al menos el 80%)
Si para calcular Ei hay que usar p parámetros estimados de la muestra (ej. μ, σ), el número de grados de libertad es:
Ventajas: Método muy usado. Se puede analizar bin
a bin. Fácil de aplicar (como regla aproximada, si χ2
es mayor que 2×k, se rechaza la hipótesis nula).
Desventajas: Pérdida de eficiencia e información al agrupar los datos en intervalos. Son necesarias muestras grandes (para cumplir Ei > 5). Es bilateral (no indica la dirección de las desviaciones).
Ventajas: Método muy usado. Se puede analizar bin
a bin. Fácil de aplicar (como regla aproximada, si χ2
es mayor que 2×k, se rechaza la hipótesis nula).
Desventajas: Pérdida de eficiencia e información al agrupar los datos en intervalos. Son necesarias muestras grandes (para cumplir Ei > 5). Es bilateral (no indica la dirección de las desviaciones).
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-12
TestTest
de bondad del ajuste: de bondad del ajuste: KolmogorovKolmogorov--SmirnovSmirnovSe (x): distribución de frecuencias acumuladas (función de distribución) bajo H0
So (x): distribución de frecuencias acumuladas de la muestra
H0
se acepta si:
Ventajas sobre el test
χ2
No hay pérdida de información por agrupamiento
Válido para muestras pequeñas (para muestras intermedias es más potente)
Pueden hacerse contrastes unilaterales
Permite calcular un intervalo de confianza para la distribución de probabilidad de la población.
Ventajas sobre el test
χ2
No hay pérdida de información por agrupamiento
Válido para muestras pequeñas (para muestras intermedias es más potente)
Pueden hacerse contrastes unilaterales
Permite calcular un intervalo de confianza para la distribución de probabilidad de la población.
InconvenientesLa distribución teórica debe ser continua (aunque existen modificaciones para distribuciones discretas no se puede aplicar a variables cualitativas)
No se pueden conocer los valores críticos si se calculan estimaciones de los parámetros poblacionales a partir de la muestra.
InconvenientesLa distribución teórica debe ser continua (aunque existen modificaciones para distribuciones discretas no se puede aplicar a variables cualitativas)
No se pueden conocer los valores críticos si se calculan estimaciones de los parámetros poblacionales a partir de la muestra.
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-13
Valores crValores crííticos para el ticos para el testtest
de de KolmogorovKolmogorov--SmirnovSmirnov
(1 muestra)(1 muestra)
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-14
Ejemplo: CEjemplo: Cúúmulos globulares de la Galaxiamulos globulares de la Galaxia
Test
χ2
Variab le: Var2, Distribution: Norm alChi -Square test = 3,13214, d f = 4 (adjusted) , p = 0,53596
-16 -15 -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4
Category (upper l im i ts)
0
5
10
15
20
25
30
No.
of o
bser
vatio
ns
Variab le: Var2, Distribution: Norm alChi -Square test = 3,13214, d f = 4 (adjusted) , p = 0,53596
-16 -15 -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4
Category (upper l im i ts)
0
5
10
15
20
25
30
No.
of o
bser
vatio
ns
12 intervalos
Agrupando intervalos para tener frecuencias esperadas > 5:
7 intervalos
Se acepta la hipótesis de normalidad
¿Siguen sus magnitudes absolutas una distribución normal?
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-15
Ejemplo: CEjemplo: Cúúmulos globulares de la Galaxiamulos globulares de la Galaxia
Test
de Kolmogorov-Smirnov Suponiendo:
Se acepta la hipótesis de normalidad
0
10
20
30
40
50
60
70
80
90
100
110
Rel
ativ
e Fr
eque
ncy
(%)
0
10
20
30
40
50
60
70
80
90
100
110
Rel
ativ
e Fr
eque
ncy
(%)
Valores críticos (N=81):
α
= 0.20 D = 0.1189
α
= 0.10 D = 0.1356
α
= 0.05 D = 0.1511
Valores críticos (N=81):
α = 0.20 D = 0.1189
α
= 0.10 D = 0.1356
α
= 0.05 D = 0.1511
Si:
Se rechaza para p = 0.10 pero se acepta
para p = 0.05
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-16
TestTest
de corridasde corridasTest
para comprobar la aleatoriedad de una secuencia binaria
H0
se acepta si:
Método útil para comprobar la aleatoriedad de secuencias temporales.
Se suele usar para comprobar la aleatoriedad de los residuos (positivos/negativos) en un ajuste a un modelo (ej. espectro). Comprobación de la validez del modelo ajustado
Método útil para comprobar la aleatoriedad de secuencias temporales.
Se suele usar para comprobar la aleatoriedad de los residuos (positivos/negativos) en un ajuste a un modelo (ej. espectro). Comprobación de la validez del modelo ajustado
Sea una secuencia de resultados de un proceso binario (éxito/fracaso):
(ej. EEFEEFFEEEEFFF)
n1: número de éxitos
n2: número de fracasos
r : número de corridas (secuencias del mismo resultado)
(las observaciones sucesivas son independientes)
Típicamente, el test
se hace unilateral: H0
se acepta si:
Para muestras grandes (n1
ó
n2
> 20)
Ej:
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-17
Valores crValores crííticos para el ticos para el testtest
de corridasde corridas
Los dos números indican los valores críticos (mínimo y máximo) para un test
con n1
éxitos y n2
fracasos.
El nivel de significación es α = 0.05 para un test
bilateral y α = 0.025 para un test
unilateral.
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-18
Ejemplo: Ajuste al espectro del cuasar 3C207Ejemplo: Ajuste al espectro del cuasar 3C207
Se acepta la hipótesis de aleatoriedad
Se rechaza. Hay evidencias de emisión
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-19
MMéétodos todos bayesianosbayesianosContraste para la media para una distribuciContraste para la media para una distribucióón normaln normal
Verosimilitud:
La verosimilitud de la muestra es proporcional a la verosimilitud de la media
Prior uniforme:
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-20
MMéétodos todos bayesianosbayesianos
(II)(II)
La distribución de probabilidad posterior de μ es una normal con:
Prior normal: (prior conjugado)
-5 -4 -3 -2 -1 0 1 2 3 4 5m
LikelihoodPrior
Posterior
Posterior mean 1 31
7. 7. Contrastes de HipContrastes de Hipóótesis para una Muestratesis para una Muestra7-21
MMéétodos todos bayesianosbayesianos
(III)(III)
Se calcula
Contrastes de hipótesis:
H0
se acepta si:
Bilateral:Para un nivel α, se calcula un intervalo de credibilidad: [μ1
,μ2
]
Prior normal:
Prior no normal:(σ se supone conocida)
Unilateral:
Para un prior normal:
H0
se acepta si:
Distribución de probabilidad de la hipótesis
