MEDIDAS DE VARIABILIDAD O DISPERSION EDUCADOR LEONARDO PILONIETA TARRIFA.
Estimación de la fiabilidad de las medidas subjetivas en las ciencias ...
Transcript of Estimación de la fiabilidad de las medidas subjetivas en las ciencias ...
Estimación de la fiabilidad de las medidas subjetivas en las ciencias de la salud:
¿acuerdo o concordancia?
Eduardo Doval Diéguez
Departament de Psicobiologia i de Metodologiade les Ciències de la Salut
Fac. de PsicologiaUAB
Teoría Clásica de los Tests (TCT)
Modelo (TCT)
Supuestos
Definición
X = V + e
V = E(X)ρ(v,e) = 0ρ(ej,ek) = 0
Pruebas paralelas
Vj = Vk
σej = σek22
Deducciones
e = X - V
E(e) = 0
E(X) = E(V)
cov(V,e) = 0
cov(X,V) = var(V)
cov(Xj,Xk) = cov(Vj,Vk)
var(X) = var(V)+var(e)σe
ρ(x,e)= σx
Coeficiente de fiabilidad
cov(x,x’)ρxx’ = σxσx’
µ1 = µ2 = … = µk
var(X1) = var(X2) = … = var(Xk)
cov(X1, X2) = cov(X1, X3) = … = cov(Xj, Xk)
σ (V)ρxx’ =
2
σ (X)2
Teoría Clásica de los Tests (TCT)
Coeficiente de fiabilidad
σ (V)ρxx’ =
2
σ (X)2
σ (e)ρxx’ = 1-
2
σ (X)2
Estudio de la fiabilidad(TCT)
Estabilidad Consistenciainterna
Dos mitades
Formasparalelas
Test-retest k
partes
Diseño de formas paralelasDiseño test-retest
19302121202318191321172171696
119109
r = 0.761
ρxx’ = 0.761Coeficiente de equivalencia
Coeficiente test-retest o de estabilidad
Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.
Fiabilidad intra-evaluador (test-retest o estabilidad)
Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.
(medidas cuantitativas)
Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.
Fiabilidad entre-evaluadores (equivalencia)(medidas cuantitativas)
Simon, E.A., Saur, F., Buerge, M., Glaab, R., Roos, M. y Kloher, G. (2004). Inter-observer agreementof ultrasonographic measurement of alpha and beta angles and the final type classification basedon the Graf method. Swiss med Wkly. 134, 671-677..
Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas nominales)
NorAnor
.
.
.
.Nor
AnorNorNor
NorNor
.
.
.
.Anor
NorNorNor
Kappa de Cohen
Anormal
Normal 111 6
21 20
AnormalNormalPediatra
Orto
pédi
co
132 26
117
41
158
Anormal
Normal .703
.127
AnormalNormal
.835 .165
.741
.259
1
(.619)
(.043)
Po =111 + 20
158= 0.829
Po+ =2×111
2×111+6+21= 0.892
Po- =2×20+6+21
= 0.5972×20
κ =Po - Pe
1 - Pe= 0.494
.829 - 662
1 - .662=
Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas nominales)
11028162442total
1714 2 (2.47)w=1
1 (3.71)w=4
0 (6.49)w=9
Severo
2312 (5.85)w=1
45 (5.02)w=1
2 (8.78)w=4
Medio
242 (6.11)w=4
8 (3.49)w=1
86 (9.16)w=1
Mínimo
460 (11.71)
w=9
2(6.69)w=4
10(10.04)
w=1
34 Ausente
Evaluador 2
totalSeveroMedioMínimoAusente
Evaluador 1
κw =Σwij × oij
Σwij × eij
= 1- 0.764(1×10)+(4×2)+...+(1×2)
=
1-
(1×10.04)+(4×6.69)+...+(1×2.47)
=
Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas ordinales)
Diseño de consistencia interna (dos mitades)
7788663668186625445864742446220203334212I4I3I2I1
1515912716811912
138610243654
r = 0.619
I1+i3 I2+i4
= 0.765ρxx’ =2r
1+2r=
2×0.6191+2×0.619
Coeficiente de dos mitades (Spearman-Brown)
7788663668186625445864742446220203334212I4I3I2I1
r = 0.523
Diseño de consistencia interna (k partes)
= 0.814ρxx’ = k r
1+(k-1) r =4×0.523
1+(4-1)0.523αs =
Coeficiente de consistencia interna (alfa estandarizada)
0,730,360,53i40,260,80i3
0,46i2
i3i2i1
R =
i1i4
--
-
-
Diseño de consistencia interna (k partes)
7788663668186625445864742446220203334212I4I3I2I1
S =
5,343,472,202,93I43,474,271,403,98I32,201,406,932,91I22,933,982,915,73I1I4I3I2I1
= 0.804ρxx’ = Σσi
σx=α = 2
21-k
k-122.2756.05
1-44-1
σx2 = 56.05
Σσi = 22.27
Coeficiente de consistencia interna (alfa de Cronbach)
Estudio de la fiabilidad(TCT)
Estabilidad Consistenciainterna
Dos mitades
Formasparalelas
Test-retest k
partes
Una única aplicaciónde un instrumento
compuesto por k unidades
Más de unaaplicación
del instrumento
Coeficiente de Equivalencia
(entre-evaluadores)
Coeficientetest-retest o
de estabilidad(intra-evaluadores)
Coeficientede dos mitades
Coeficienteconsistencia
interna
Fiabilidad¿acuerdo o concordancia?
Acuerdo: Acuerdo absolutoConsenso
Concordancia: Acuerdo relativoConsistencia
7788663668186625445864742446220203334212I4I3I2I1
7788663668186625445864742446220203334212I4I3I2I1
α de Cronbach
Spearman-Brown
α de Cronbach
Spearman-Brown
19302121202318191321172171696
119109
r = 0.761
X =
S =
17.5 14.57.49 5.08
Spearman-Brown
30030210212302319019210212102116016606909909
r = 1
X =
S =
17.5 1757.49 74.9
α de Cronbach
r
X1 =
S1 =
X2
S2
INDICES ESTADÍSTICOS MÁS UTILIZADOS EN LA ESTIMACIÓN DEL COEFICIENTE DE FIABILIDAD
CRITERIOS DE INTERPRETACIÓN DE LOS COEFICIENTES DE FIABILIDAD
Nunnally, (1978)α ≥ 0.70 Investigaciónα ≥ 0.80 Comparación de grupos de personasα ≥ 0.90 Decisiones importantes sobre personas individuales
Alfa de Cronbach
Kappa de Cohen
r ≥ 0.70Coeficiente de correlación
COEFICIENTE E INDICE DE FIABILIDAD
Coeficiente de fiabilidad
σ (V)ρxx’ =
2
σ (X)2
Índice de fiabilidad
σ (V)ρXV = ρxx’ =
σ (X)
ρxx’ = 0.70 ρxx’ = 0.492 ρxv = 0.84→→
McGraw, K.O. y Wong, S.P. (1986). Forming inferences about some intraclass correlationcoefficients. Psychological Methods, 1(1), 30-46.
Cortina, J.M. (1993). What is coefficient alpha? An examination of theory and applicationsJournal of applied psychology, 78(1), 98-104.
Fleiss, J.L.(1981). Statistical methods for raters and proportions. New York: Wiley.Landis, J. y Koch, G.G. (1977). The measurement of observer agreement for categorical data.
Biometrics, 33, 159-174.
Kappa
Alfa
Correlación intraclase
Dunn, G. (2004). Statistical evaluation of measurement errors. Londres: Arnold.
Fiabilidad
Shrout, P.E. y Fleiss, J.L. (1979). Intraclass correlations: uses in assessing rater reliability.Psychological Bulletin, 86, 420-428.
REFERENCIAS
Thrompson, B. (2003). Score reliability. Contemporary thinking on reliability issues. Thousand Oaks. Ca: Sage.
Nunnally, J.C. (1978). Psychometric theory. New York: MacGrw-Hill
TCT