| Befehl: | Tests Inter-Rater-Übereinstimmung |
Beschreibung
Verwenden Sie Inter-Rater-Übereinstimmung, um die Übereinstimmung zwischen zwei Klassifizierungen (Nominal- oder Ordinalskalen) zu bewerten.
Wenn die Rohdaten in der Tabelle verfügbar sind, verwenden Sie die Inter-Rater-Übereinstimmung im Menü Statistik, um die Klassifizierungstabelle zu erstellen und Kappa zu berechnen (Cohen 1960; Cohen 1968; Fleiss et al, 2003).
Die Übereinstimmung wird durch die Kappa (K)-Statistik quantifiziert:
- K ist 1, wenn eine perfekte Übereinstimmung zwischen den Klassifikationssystemen besteht
- K ist 0, wenn keine Übereinstimmung besser als der Zufall ist
- K ist negativ, wenn die Übereinstimmung schlechter als der Zufall ist.
Erforderliche Eingaben
Im Dialogformular können Sie die beiden Klassifikationssysteme in eine 6×6-Häufigkeitstabelle eintragen.
Wählen Sie Weighted Kappa (Cohen 1968), wenn die Daten von einer geordneten Skala stammen. Wenn die Daten von einer Nominalskala stammen, wählen Sie kein gewichtetes Kappa.
Verwenden Sie lineare Gewichte, wenn der Unterschied zwischen der ersten und zweiten Kategorie die gleiche Bedeutung hat wie ein Unterschied zwischen der zweiten und dritten Kategorie usw. Wenn der Unterschied zwischen der ersten und zweiten Kategorie weniger wichtig ist als ein Unterschied zwischen der zweiten und dritten Kategorie, usw,
In diesem Beispiel hat Beobachter A von den 6 Fällen, die Beobachter B in Klasse 1 eingeordnet hat, 5 in Klasse 1 und 1 in Klasse 2 eingeordnet; von den 19 Fällen, die Beobachter B in Klasse 2 eingeordnet hat, hat Beobachter A 3 in Klasse 1, 12 in Klasse 2 und 4 in Klasse 3 eingeordnet; und von den 12 Fällen, die Beobachter B in Klasse 3 eingeordnet hat, hat Beobachter A 2 in Klasse 1, 2 in Klasse 2 und 8 in Klasse 3 eingeordnet.
Nachdem Sie die Daten eingegeben haben, klicken Sie auf die Schaltfläche Test. Das Programm zeigt den Wert für Kappa mit seinem Standardfehler und 95 % Konfidenzintervall (CI) an.
MedCalc berechnet die Inter-Rater-Übereinstimmungsstatistik Kappa nach Cohen, 1960; und gewichtetes Kappa nach Cohen, 1968. Einzelheiten zur Berechnung sind auch in Altman, 1991 (S. 406-407) enthalten. Der Standardfehler und das 95 %-Konfidenzintervall werden nach Fleiss et al., 2003, berechnet.
Die von MedCalc gemeldeten Standardfehler sind die geeigneten Standardfehler zum Testen der Hypothese, dass der zugrunde liegende Wert des gewichteten Kappa gleich einem vorgegebenen Wert ungleich Null ist (Fleiss et al., 2003).
Der K-Wert kann wie folgt interpretiert werden (Altman, 1991):
| Wert von K | Stärke der Übereinstimmung |
|---|---|
| < 0.20 | Schlecht |
| 0,21 – 0,40 | Gut |
| 0,41 – 0,60 | Mäßig |
| 0.61 – 0.80 | Gut |
| 0.81 – 1.00 | Sehr gut |
In das Kommentar-Eingabefeld können Sie einen Kommentar oder eine Schlussfolgerung eingeben, die auf dem gedruckten Bericht erscheinen wird.
Literatur
- Altman DG (1991) Practical statistics for medical research. London: Chapman and Hall.
- Cohen J (1960) A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20:37-46.
- Cohen J (1968) Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin 70:213-220.
- Fleiss JL, Levin B, Paik MC (2003) Statistical methods for rates and proportions, 3rd ed. Hoboken: John Wiley & Sons.