Estimación de la fiabilidad de las medidas subjetivas en las ciencias de la salud:

¿acuerdo o concordancia?

Eduardo Doval Diéguez

Departament de Psicobiologia i de Metodologiade les Ciències de la Salut

Fac. de PsicologiaUAB

eduardo.doval@uab.es

Teoría Clásica de los Tests (TCT)

Modelo (TCT)

Supuestos

Definición

X = V + e

V = E(X)ρ(v,e) = 0ρ(ej,ek) = 0

Pruebas paralelas

Vj = Vk

σej = σek22

Deducciones

e = X - V

E(e) = 0

E(X) = E(V)

cov(V,e) = 0

cov(X,V) = var(V)

cov(Xj,Xk) = cov(Vj,Vk)

var(X) = var(V)+var(e)σe

ρ(x,e)= σx

Coeficiente de fiabilidad

cov(x,x’)ρxx’ = σxσx’

µ1 = µ2 = … = µk

var(X1) = var(X2) = … = var(Xk)

cov(X1, X2) = cov(X1, X3) = … = cov(Xj, Xk)

σ (V)ρxx’ =

2

σ (X)2

Teoría Clásica de los Tests (TCT)

Coeficiente de fiabilidad

σ (V)ρxx’ =

2

σ (X)2

σ (e)ρxx’ = 1-

2

σ (X)2

Estudio de la fiabilidad(TCT)

Estabilidad Consistenciainterna

Dos mitades

Formasparalelas

Test-retest k

partes

Diseño de formas paralelasDiseño test-retest

19302121202318191321172171696

119109

r = 0.761

ρxx’ = 0.761Coeficiente de equivalencia

Coeficiente test-retest o de estabilidad

Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.

Fiabilidad intra-evaluador (test-retest o estabilidad)

Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.

(medidas cuantitativas)

Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.

Fiabilidad entre-evaluadores (equivalencia)(medidas cuantitativas)

Simon, E.A., Saur, F., Buerge, M., Glaab, R., Roos, M. y Kloher, G. (2004). Inter-observer agreementof ultrasonographic measurement of alpha and beta angles and the final type classification basedon the Graf method. Swiss med Wkly. 134, 671-677..

Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas nominales)

NorAnor

.

.

.

.Nor

AnorNorNor

NorNor

.

.

.

.Anor

NorNorNor

Kappa de Cohen

Anormal

Normal 111 6

21 20

AnormalNormalPediatra

Orto

pédi

co

132 26

117

41

158

Anormal

Normal .703

.127

AnormalNormal

.835 .165

.741

.259

1

(.619)

(.043)

Po =111 + 20

158= 0.829

Po+ =2×111

2×111+6+21= 0.892

Po- =2×20+6+21

= 0.5972×20

κ =Po - Pe

1 - Pe= 0.494

.829 - 662

1 - .662=

Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas nominales)

11028162442total

1714 2 (2.47)w=1

1 (3.71)w=4

0 (6.49)w=9

Severo

2312 (5.85)w=1

45 (5.02)w=1

2 (8.78)w=4

Medio

242 (6.11)w=4

8 (3.49)w=1

86 (9.16)w=1

Mínimo

460 (11.71)

w=9

2(6.69)w=4

10(10.04)

w=1

34 Ausente

Evaluador 2

totalSeveroMedioMínimoAusente

Evaluador 1

κw =Σwij × oij

Σwij × eij

= 1- 0.764(1×10)+(4×2)+...+(1×2)

=

1-

(1×10.04)+(4×6.69)+...+(1×2.47)

=

Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas ordinales)

Diseño de consistencia interna (dos mitades)

7788663668186625445864742446220203334212I4I3I2I1

1515912716811912

138610243654

r = 0.619

I1+i3 I2+i4

= 0.765ρxx’ =2r

1+2r=

2×0.6191+2×0.619

Coeficiente de dos mitades (Spearman-Brown)

7788663668186625445864742446220203334212I4I3I2I1

r = 0.523

Diseño de consistencia interna (k partes)

= 0.814ρxx’ = k r

1+(k-1) r =4×0.523

1+(4-1)0.523αs =

Coeficiente de consistencia interna (alfa estandarizada)

0,730,360,53i40,260,80i3

0,46i2

i3i2i1

R =

i1i4

--

-

-

Diseño de consistencia interna (k partes)

7788663668186625445864742446220203334212I4I3I2I1

S =

5,343,472,202,93I43,474,271,403,98I32,201,406,932,91I22,933,982,915,73I1I4I3I2I1

= 0.804ρxx’ = Σσi

σx=α = 2

21-k

k-122.2756.05

1-44-1

σx2 = 56.05

Σσi = 22.27

Coeficiente de consistencia interna (alfa de Cronbach)

Estudio de la fiabilidad(TCT)

Estabilidad Consistenciainterna

Dos mitades

Formasparalelas

Test-retest k

partes

Una única aplicaciónde un instrumento

compuesto por k unidades

Más de unaaplicación

del instrumento

Coeficiente de Equivalencia

(entre-evaluadores)

Coeficientetest-retest o

de estabilidad(intra-evaluadores)

Coeficientede dos mitades

Coeficienteconsistencia

interna

Fiabilidad¿acuerdo o concordancia?

Acuerdo: Acuerdo absolutoConsenso

Concordancia: Acuerdo relativoConsistencia

7788663668186625445864742446220203334212I4I3I2I1

7788663668186625445864742446220203334212I4I3I2I1

α de Cronbach

Spearman-Brown

α de Cronbach

Spearman-Brown

19302121202318191321172171696

119109

r = 0.761

X =

S =

17.5 14.57.49 5.08

Spearman-Brown

30030210212302319019210212102116016606909909

r = 1

X =

S =

17.5 1757.49 74.9

α de Cronbach

r

X1 =

S1 =

X2

S2

INDICES ESTADÍSTICOS MÁS UTILIZADOS EN LA ESTIMACIÓN DEL COEFICIENTE DE FIABILIDAD

CRITERIOS DE INTERPRETACIÓN DE LOS COEFICIENTES DE FIABILIDAD

Nunnally, (1978)α ≥ 0.70 Investigaciónα ≥ 0.80 Comparación de grupos de personasα ≥ 0.90 Decisiones importantes sobre personas individuales

Alfa de Cronbach

Kappa de Cohen

r ≥ 0.70Coeficiente de correlación

COEFICIENTE E INDICE DE FIABILIDAD

Coeficiente de fiabilidad

σ (V)ρxx’ =

2

σ (X)2

Índice de fiabilidad

σ (V)ρXV = ρxx’ =

σ (X)

ρxx’ = 0.70 ρxx’ = 0.492 ρxv = 0.84→→

McGraw, K.O. y Wong, S.P. (1986). Forming inferences about some intraclass correlationcoefficients. Psychological Methods, 1(1), 30-46.

Cortina, J.M. (1993). What is coefficient alpha? An examination of theory and applicationsJournal of applied psychology, 78(1), 98-104.

Fleiss, J.L.(1981). Statistical methods for raters and proportions. New York: Wiley.Landis, J. y Koch, G.G. (1977). The measurement of observer agreement for categorical data.

Biometrics, 33, 159-174.

Kappa

Alfa

Correlación intraclase

Dunn, G. (2004). Statistical evaluation of measurement errors. Londres: Arnold.

Fiabilidad

Shrout, P.E. y Fleiss, J.L. (1979). Intraclass correlations: uses in assessing rater reliability.Psychological Bulletin, 86, 420-428.

REFERENCIAS

Thrompson, B. (2003). Score reliability. Contemporary thinking on reliability issues. Thousand Oaks. Ca: Sage.

Nunnally, J.C. (1978). Psychometric theory. New York: MacGrw-Hill

TCT