Estadístico Mantel-Haenszel

Estadístico utilizado para determinar cuando dos variables (grupo y

acierto) son independientes cuando se condiciona a una tercera variable

(nivel de habilidad)1

Ítems dicotómicos

2

El concepto de Odds RatioCociente de Razones (α)

3

¿qué es α?Tendremos “K” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “K” los distintos

niveles de rasgo (p.e., intervalos en los que se divide la puntuacion total en el test)

En cada una de esas tablas tenemos la siguiente estructura:

Grupo 1 0 Total Ref Ak Bk NRk

Foc Ck Dk NFk

N1k N0k Nk

α = (Ak/Bk) / (Ck/Dk)= AkDk/Bk Ck

α (Odds ratio) es el Cociente de Razones en el grupo “k”:

α indica en qué medida la ratio aciertos/errores es mayor en el grupo de referencia que en el grupo focal

4

Mantel - HaenszelEn cada una de las “K” tablas nos podemos encontrar en una de estas tres

situaciones:

a) No DIF

Grupo 1 0 Total

Ref 20 80 100 20/80=0.25

Foc 40 160 200 40/160 = 0.25

60 240 300 20(160)/40(80)=1

b) DIF a favor grupo focal

Grupo 1 0 Total

Ref 20 80 100 20/80=0.25

Foc 80 120 200 80/120 = 0.67

100 200 300 20(120)/80(80)=0.375

c) DIF a favor grupo referencia

Grupo 1 0 Total

Ref 20 80 100 20/80=0.25

Foc 20 180 200 20/180 = 0.11

40 260 300 20(180)/20(80)=2.25

 

5

El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno.

Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR.

Difícil de interpretar….

α

6

El Logaritmo del Cociente de Razones: Ln(α)

7

¿Que es Ln(α)?Asumamos un modelo dicotómico para cada

grupo:

))(exp(1))(exp(

),|1(iRiR

iRiRi bDa

bDaRgxP

))(exp(1))(exp(

),|1(iFiF

iFiFi bDa

bDaFgxP

)()()

),|0(),|1(),|0(),|1(

()( iRiRiFiFiFiR

i

i

i

i

i babaDaaD

FgxPFgxPRgxPRgxP

LnLn

8

Si a difiere en los dos grupos, la Odds Ratio depende de

)()()

),|0(),|1(),|0(),|1(

()( iRiRiFiFiFiR

i

i

i

i

i babaDaaD

FgxPFgxPRgxPRgxP

LnLn

Si asumimos a iguales en los dos grupos:

)()

),|0(),|1(),|0(),|1(

()( iRiFi

i

i

i

i

i bbDa

FgxPFgxPRgxPRgxP

LnLn

Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos

)( iLn 9

Si a difiere en los dos grupos, la Odds Ratio depende de

Si asumimos el modelo de Rasch:

)()

),|0(),|1(),|0(),|1(

()( iRiF

i

i

i

i

i bb

FgxPFgxPRgxPRgxP

LnLn

Bajo ese modelo es proporcional a la diferencia en el parámetro b entre los 2 grupos

)( iLn

10

El logaritmo del cociente de razones común toma valores entre - e . Si no hay DIF, dará valores cercanos a cero.

Si da valores menores que 0, más probabilidad de acierto en GF. Si da valores mayores que 0, más probabilidad de acierto en GR.

Más fácil de interpretar….

Ln(α)

11

Hasta ahora…

Hemos calculado los valores en cada grupo k…

… ahora vamos a calcular los valores en el grupo completo.

12

Estimación de α:Cociente de razones común

13

Si se asume el modelo anterior (no hay efecto del estrato de habilidad), puede calcularse un cociente de razones común (como una suma ponderada de los cocientes de razones obtenidos en los grupos):

kk

kkk

MH

w

w

ˆˆ

El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno.

Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF. Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR.

14

En el caso dicotómico:

k

kkk N

CBw

15

Cociente de razones común

Otros indicador de DIF es el cociente de razones común:

Alpha para un grupo:α= (Ak/Bk)/(Ck/Dk) α = (AkDk)/(BkCk)

El cociente de razones común toma valores entre 0 e . Si no hay DIF, dará valores cercanos a uno.

Si da valores menores que 1 (hasta 0), más probabilidad de acierto en GF.

Si da valores mayores que 1 (hasta infinito), más probabilidad de acierto en GR.

kkk

kkkMH NCB

NDA

/

/̂

Asumiendo que no hay efecto del estrato

16

Interpretación:

)ˆ( MHLn

Valores negativos indica probabilidad de acierto mayor en el grupo Focal.

Valores positivos indica probabilidad de acierto mayor en el grupo de Referencia.

)()ˆ( RFMH bbLn Asumiendo un modelo de Rasch con a = 1 y D = 1

Criterios del ETS:

A: Está entre -0.43 y 0.43 C: mayor que 0.64 ó menor que -0.64B: El resto.

El Logaritmo del Cociente de Razones común:

17

Dificultad en la Escala Delta (ETS)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

-3.0

-2.0

-1.0 0.0

1.0

2.0

3.0

701.1)/ln( RR

R

qpz

p

zR

DeltaR = 13+zR*4 )/ln(35.213 RRR qpDelta 18

Dificultad en la Escala Delta (ETS)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

-3.0

-2.0

-1.0 0.0

1.0

2.0

3.0

701.1)/ln( FF

F

qpz

p

zF

DeltaF = 13+zF*4 )/ln(35.213 FFF qpDelta 19

Diferencia de dificultad en la Escala Delta (ETS)

)ln(35.2)//

ln(35.2

)/ln(35.2)/ln(35.2

RR

FF

RRFFRF

qpqp

qpqpDeltaDelta

20

Interpretación de MH-Delta:

)(35.2)ˆ(35.2 FRMH bbLnDeltaMH

Valores positivos indica probabilidad de acierto mayor en el grupo Focal.

Valores negativos indica probabilidad de acierto mayor en el grupo de Referencia.

El valor del Logaritmo del cociente de razones común está, en este caso, en la escala delta (media 13, DT 4), la ausencia de DIF viene indicada por valores cercanos a cero.

Criterios del ETS:

A: Está entre -1 y 1 (1-> 0.25 en la escala z)C: mayor que 1.5 ó menor que -1.5 (1.5 -> .375 en la escala z)B: El resto.

Asumiendo un modelo de Raschcon a=1 y D=1

MH-Delta:

)ˆ( MHLn )()ˆ( RFMH bbLn Asumiendo un modelo de Rasch con a = 1 y D = 1

El Logaritmo del Cociente de Razones común:

21

1.0/2.35=0.43 1.5/2.35=0.64

DeltaMH )( MHLn Se interpretan al revés con distintos puntos de corte

22

Estadístico de contrastepara contrastar si α = 1

23

Estadístico de contrasteMantel – Haenszel (Datos dicotómicos):

Tendremos “k” tablas 2 (grupo) x 2 (acierto-fallo al ítem), siendo “k” los distintos niveles de rasgo desde 1 hasta I-1 (p.e., intervalos en los que se divide la puntuacion total en el test)

Grupo 1 0 Total Ref Ak Bk NRk

Foc Ck Dk NFk

N1k N0k Nk

H0: α=1 para todo “k”

H1: α≠1 para algún “k”

)(

5.0)(2

2

k

kk

MH AVar

AEA

NUMERO DE ACIERTOS EN EL GRUPO DE REFERENCIA

NUMERO ESPERADO DE ACIERTOS EN EL GRUPO DE REFERENCIA SI NO HAY ASOCIACIÓN ENTRE LA PERTENENCIA AL GRUPO Y LA PROBABILIDAD DE ACIERTO (AISLADO EL NIVEL DE RASGO)

El estadístico 2MH sigue la distribución 2

con 1 grado de libertad

24

1)( 01

k

k

k

k

k

Fk

k

k

k

Rkkk N

NNN

NN

NN

NN

NAVar

)/)(/()( 1 kkkRkkk NNNNNAE

83.10)001.0(

63.6)01.0(

84.3)05.0(

21

21

21

p

p

p

25

Ejemplo (datos simulados)

26

Generación de datos con IRTLAB

27

20,21 ,1,2PL,0,1.2,-2 ,,,,,1 ,2,2PL,0,1.2,-2 ,,,,,2 ,1,2PL,0,1.2,-1 ,,,,,2 ,2,2PL,0,1.2,-1 ,,,,,3 ,1,2PL,0,1.2, 0 ,,,,,3 ,2,2PL,0,1.2, 0 ,,,,,4 ,1,2PL,0,1.2, 1 ,,,,,4 ,2,2PL,0,1.2, 1 ,,,,,5 ,1,2PL,0,1.2, 2 ,,,,,5 ,2,2PL,0,1.2, 2 ,,,,,6 ,1,2PL,0,1 ,-2 ,,,,,6 ,2,2PL,0,1 ,-2 ,,,,,7 ,1,2PL,0,1 ,-1 ,,,,,7 ,2,2PL,0,1 ,-1 ,,,,,8 ,1,2PL,0,1 , 0 ,,,,,8 ,2,2PL,0,1 , 0 ,,,,,9 ,1,2PL,0,1 , 1 ,,,,,9 ,2,2PL,0,1 , 1 ,,,,,10,1,2PL,0,1 , 2 ,,,,,10,2,2PL,0,1 , 2 ,,,,,

Generación de datos con IRTLAB

28

11,1,2PL,0,0.8,-2 ,,,,,11,2,2PL,0,0.8,-2 ,,,,,12,1,2PL,0,0.8,-1 ,,,,,12,2,2PL,0,0.8,-1 ,,,,,13,1,2PL,0,0.8, 0 ,,,,,13,2,2PL,0,0.8, 0 ,,,,,14,1,2PL,0,0.8, 1 ,,,,,14,2,2PL,0,0.8, 1 ,,,,,15,1,2PL,0,0.8, 2 ,,,,,15,2,2PL,0,0.8, 2 ,,,,,16,1,2PL,0,0.8,-2 ,,,,,16,2,2PL,0,0.8,-2.5 ,,,,,17,1,2PL,0,0.8,-1 ,,,,,17,2,2PL,0,0.8,-1.25,,,,,18,1,2PL,0,0.8, 0 ,,,,,18,2,2PL,0,0.8,-0.5 ,,,,,19,1,2PL,0,0.8, 1 ,,,,,19,2,2PL,0,0.4, 1 ,,,,,20,1,2PL,0,0.8, 2 ,,,,,20,2,2PL,0,0.4, 1.5 ,,,,,

Generación de datos con IRTLAB

29

Datos simulados…

30

1 1 1 1 0 0 1 1 0 1 0 1 1 1 1 0 1 1 1 0 01 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1 0 0 01 1 1 1 0 0 1 1 0 0 0 1 0 1 0 1 1 1 1 0 01 1 1 1 0 0 1 1 1 0 1 1 1 0 0 0 1 0 1 0 1…2 1 1 1 0 0 1 1 1 0 0 1 1 1 1 0 1 1 1 1 12 1 0 0 0 0 1 1 0 0 0 1 1 1 0 0 0 0 1 0 12 1 1 1 1 0 1 1 1 0 0 1 1 0 0 0 1 1 1 0 02 1 1 0 0 0 1 1 0 0 0 1 1 0 0 0 1 1 1 0 1

111100110101111011100111000010000000011000111100110001010111100111100111011100010101...

211100111001111011111210000110001110000101211110111001100011100211000110001100011101

Input file: posmh.dat Output file: posmh.outExaminees: 1000Items: 20

Total group Focal group Reference groupMean = 8.75 6.72 10.10Std.Dev.= 4.21 3.84 3.91N = 1000 400 600

Level of significance = 0.0100

The program will collapse the score categories by combining adjacent score categories until the number of examinees in each score group is greater than 1

DIF detection in the initial test

Lowest score = 0 Highest score =20

32

MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat.Item01= 1.68 -1.22 3.97 0 28.57 21Item02= 1.56 -1.04 5.04 0 23.81 21Item03= 1.88 -1.48 9.40 1 25.00 21Item04= 1.40 -0.79 1.28 0 27.38 21Item05= 1.84 -1.43 0.48 0 41.67 21Item06= 1.45 -0.87 2.13 0 27.38 21Item07= 1.35 -0.70 2.34 0 26.19 21Item08= 1.50 -0.95 4.24 0 23.81 21Item09= 1.24 -0.51 0.60 0 26.19 21item10= 1.16 -0.36 0.04 0 33.33 21item11= 1.08 -0.19 0.08 0 22.62 21item12= 0.81 0.49 1.13 0 25.00 21item13= 1.35 -0.71 2.60 0 21.43 21item14= 1.14 -0.30 0.21 0 26.19 21item15= 1.16 -0.34 0.11 0 29.76 21item16= 0.46 1.82 10.15 1 27.38 21item17= 1.00 -0.00 0.01 0 26.19 21item18= 0.57 1.30 9.14 1 21.43 21item19= 0.38 2.26 22.88 1 20.24 21item20= 0.26 3.18 32.43 1 20.24 21

The 25.00% of the items display DIF

33

DIF detection in the purified test

Lowest score = 0 Highest score =16Mean = 6.67

Bounds of score categoriesscore categorie 1=0-0score categorie 2=1-1score categorie 3=2-2score categorie 4=3-3score categorie 5=4-4score categorie 6=5-5score categorie 7=6-6score categorie 8=7-7score categorie 9=8-8score categorie 10=9-9score categorie 11=10-10score categorie 12=11-11score categorie 13=12-12score categorie 14=13-13score categorie 15=14-14score categorie 16=15-15score categorie 17=16-16

34

MH Alpha MH D-DIF MH-CHI2 DIF % Empty cells Sccat.Item01= 1.30 -0.63 0.84 0 28.13 16Item02= 1.25 -0.53 1.13 0 25.00 16Item03= 1.47 -0.91 3.02 0 20.59 17Item04= 1.00 0.00 0.02 0 28.13 16Item05= 1.63 -1.14 0.23 0 39.06 16Item06= 1.16 -0.35 0.25 0 23.44 16Item07= 1.05 -0.11 0.03 0 25.00 16Item08= 1.22 -0.46 0.87 0 23.44 16Item09= 0.98 0.06 0.00 0 23.44 16item10= 0.97 0.07 0.02 0 31.25 16item11= 0.89 0.29 0.21 0 21.88 16item12= 0.64 1.05 5.19 0 25.00 16item13= 1.14 -0.30 0.35 0 20.31 16item14= 0.94 0.14 0.02 0 25.00 16item15= 0.95 0.12 0.00 0 26.56 16item16= 0.40 2.15 13.93 1 26.47 17item17= 0.82 0.46 1.01 0 25.00 16item18= 0.53 1.51 12.24 1 19.12 17item19= 0.33 2.58 27.66 1 19.12 17item20= 0.23 3.50 38.32 1 22.06 17

The 20.00% of the items display DIF

Antes Después

• Coeficiente Alpha=0.86

• Diferencia en Puntuaciones típicas =-0.80

• Diferencia corregida por atenuación:

• -0.80/raiz(0.86)=-.86

35

• Coeficiente Alpha=0.84

• Diferencia en Puntuaciones típicas =-0.89

• Diferencia corregida por atenuación:

• -0.89/raiz(0.84)=-.97