| Comando: | Pruebas Acuerdo entre evaluadores |
Descripción
Utilice el acuerdo entre evaluadores para valorar el acuerdo entre dos clasificaciones (escalas nominales u ordinales).
Si los datos brutos están disponibles en la hoja de cálculo, utilice la concordancia entre evaluadores en el menú Estadísticas para crear la tabla de clasificación y calcular Kappa (Cohen 1960; Cohen 1968; Fleiss et al., 2003).
El acuerdo se cuantifica mediante el estadístico Kappa (K):
- K es 1 cuando hay un acuerdo perfecto entre los sistemas de clasificación
- K es 0 cuando no hay un acuerdo mejor que el azar
- K es negativo cuando el acuerdo es peor que el azar.
Entrada requerida
En el formulario de diálogo puede introducir los dos sistemas de clasificación en una tabla de frecuencias de 6×6.
Seleccione Kappa ponderado (Cohen 1968) si los datos proceden de una escala ordenada. Si los datos proceden de una escala nominal, no seleccione Kappa ponderado.
Utilice ponderaciones lineales cuando la diferencia entre la primera y la segunda categoría tenga la misma importancia que una diferencia entre la segunda y la tercera categoría, etc. Si la diferencia entre la primera y la segunda categoría tiene menos importancia que una diferencia entre la segunda y la tercera categoría, etc, utilice pesos cuadráticos.
En este ejemplo, de los 6 casos que el observador B ha colocado en la clase 1, el observador A ha colocado 5 en la clase 1 y 1 en la clase 2; de los 19 casos que el observador B ha colocado en la clase 2, el observador A ha colocado 3 en la clase 1, 12 en la clase 2 y 4 en la clase 3; y de los 12 casos que el observador B ha colocado en la clase 3, el observador A ha colocado 2 en la clase 1, 2 en la clase 2 y 8 en la clase 3.
Después de haber introducido los datos, haga clic en el botón Test. El programa mostrará el valor de Kappa con su error estándar y el intervalo de confianza (IC) del 95%.
MedCalc calcula el estadístico de acuerdo entre evaluadores Kappa según Cohen, 1960; y Kappa ponderado según Cohen, 1968. Los detalles computacionales también se dan en Altman, 1991 (p. 406-407). El error estándar y el intervalo de confianza del 95 % se calculan según Fleiss et al., 2003.
Los errores estándar informados por MedCalc son los errores estándar apropiados para probar la hipótesis de que el valor subyacente de kappa ponderado es igual a un valor preespecificado distinto de cero (Fleiss et al., 2003).
El valor de K puede interpretarse como sigue (Altman, 1991):
| Valor de K | Fuerza de acuerdo |
|---|---|
| < 0.20 | Mala |
| 0,21 – 0,40 | Justa |
| 0,41 – 0,60 | Moderada |
| 0.61 – 0,80 | Buena |
| 0,81 – 1,00 | Muy buena |
En el campo de entrada Comentario puede introducir un comentario o conclusión que se incluirá en el informe impreso.
Literatura
- Altman DG (1991) Practical statistics for medical research. London: Chapman and Hall.
- Cohen J (1960) A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20:37-46.
- Cohen J (1968) Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin 70:213-220.
- Fleiss JL, Levin B, Paik MC (2003) Statistical methods for rates and proportions, 3rd ed. Hoboken: John Wiley & Sons.