| Comando: | Test Inter-rater agreement |
Descrizione
Utilizza Inter-rater agreement per valutare l’accordo tra due classificazioni (scale nominali o ordinali).
Se i dati grezzi sono disponibili nel foglio di calcolo, usate l’Accordo inter-rater nel menu Statistiche per creare la tabella di classificazione e calcolare il Kappa (Cohen 1960; Cohen 1968; Fleiss et al, 2003).
L’accordo è quantificato dalla statistica Kappa (K):
- K è 1 quando c’è perfetto accordo tra i sistemi di classificazione
- K è 0 quando non c’è accordo migliore del caso
- K è negativo quando l’accordo è peggiore del caso.
Input richiesti
Nel modulo di dialogo puoi inserire i due sistemi di classificazione in una tabella di frequenza 6×6.
Seleziona Weighted Kappa (Cohen 1968) se i dati provengono da una scala ordinata. Se i dati provengono da una scala nominale, non selezionare Weighted Kappa.
Utilizzare pesi lineari quando la differenza tra la prima e la seconda categoria ha la stessa importanza della differenza tra la seconda e la terza categoria, ecc. Se la differenza tra la prima e la seconda categoria è meno importante di una differenza tra la seconda e la terza categoria, ecc, usare pesi quadratici.
In questo esempio, dei 6 casi che l’osservatore B ha messo in classe 1, l’osservatore A ne ha messi 5 in classe 1 e 1 in classe 2; dei 19 casi che l’osservatore B ha messo in classe 2, l’osservatore A ne ha messi 3 in classe 1, 12 in classe 2 e 4 in classe 3; e dei 12 casi che l’osservatore B ha messo in classe 3, l’osservatore A ne ha messi 2 in classe 1, 2 in classe 2 e 8 in classe 3.
Dopo aver inserito i dati, cliccate sul pulsante Test. Il programma visualizzerà il valore di Kappa con il suo errore standard e l’intervallo di confidenza al 95% (CI).
MedCalc calcola la statistica di accordo inter-rater Kappa secondo Cohen, 1960; e Kappa ponderata secondo Cohen, 1968. I dettagli di calcolo sono forniti anche in Altman, 1991 (p. 406-407). L’errore standard e l’intervallo di confidenza al 95% sono calcolati secondo Fleiss et al., 2003.
Gli errori standard riportati da MedCalc sono gli errori standard appropriati per testare l’ipotesi che il valore sottostante del kappa ponderato sia uguale a un valore prespecificato diverso da zero (Fleiss et al, 2003).
Il valore K può essere interpretato come segue (Altman, 1991):
| Valore di K | Forza di accordo |
|---|---|
| < 0.20 | Scadente |
| 0.21 – 0.40 | Bene |
| 0.41 – 0.60 | Moderato |
| 0.61 – 0.80 | Buono |
| 0.81 – 1.00 | Molto buono |
Nel campo di input Commento è possibile inserire un commento o una conclusione che sarà inclusa nel rapporto stampato.
Letteratura
- Altman DG (1991) Practical statistics for medical research. Londra: Chapman and Hall.
- Cohen J (1960) Un coefficiente di accordo per scale nominali. Educational and Psychological Measurement, 20:37-46.
- Cohen J (1968) Kappa ponderato: accordo su scala nominale con disposizione per disaccordo scalare o credito parziale. Bollettino psicologico 70:213-220.
- Fleiss JL, Levin B, Paik MC (2003) Statistical methods for rates and proportions, 3rd ed. Hoboken: John Wiley & Sons.