| Komento: | Testit Inter-rater agreement |
Kuvaus
Käyttämällä Inter-rater agreement -toimintoa voit arvioida kahden luokituksen (nominaali- tai ordinaalisella asteikolla) välistä vastaavuutta.
Jos raakadata on saatavilla taulukkolaskentaohjelmassa, voit luoda luokittelutaulukon ja laskea Kappa-arvon (Cohen 1960; Cohen 1968; Fleiss et al., 2003).
Yhteensopivuutta kvantifioidaan Kappa (K) -tilastolla:
- K on 1, kun luokittelujärjestelmien välillä on täydellinen yhteisymmärrys
- K on 0, kun yhteisymmärrys ei ole sattumaa parempi
- K on negatiivinen, kun yhteisymmärrys on sattumaa huonompi.
Tarvittava syöttö
Valintalomakkeessa voit syöttää kaksi luokittelujärjestelmää 6×6 frekvenssitaulukkoon.
Valitse painotettu Kappa (Cohen 1968), jos aineisto on peräisin järjestetystä asteikosta. Jos tiedot tulevat nimellisestä asteikosta, älä valitse painotettua Kappaa.
Käytä lineaarisia painoja, kun ensimmäisen ja toisen luokan välinen ero on yhtä tärkeä kuin toisen ja kolmannen luokan välinen ero jne. Jos ensimmäisen ja toisen kategorian välinen ero on vähemmän tärkeä kuin toisen ja kolmannen kategorian välinen ero jne, käytä kvadraattisia painotuksia.
Tässä esimerkissä niistä kuudesta tapauksesta, jotka havainnoitsija B on sijoittanut luokkaan 1, havainnoitsija A on sijoittanut viisi tapausta luokkaan 1 ja yhden luokkaan 2; niistä 19 tapauksesta, jotka havainnoitsija B on sijoittanut luokkaan 2, havainnoitsija A on sijoittanut kolme tapausta luokkaan 1, kaksitoista tapausta luokkaan 2 ja neljä tapausta luokkaan 3; ja niistä kahdestatoista tapauksesta, jotka havainnoitsija B on sijoittanut luokkaan 3, havainnoitsija A on sijoittanut kaksi tapausta luokkaan 1, kaksi tapausta luokkaan 2 ja kahdeksan tapauksessa luokkaan 3.
Kun olet syöttänyt tiedot, napsauta Test-painiketta. Ohjelma näyttää Kappa-arvon sekä sen keskivirheen ja 95 %:n luottamusvälin (CI).
MedCalc laskee arvioijien välisen yhteisymmärryksen tilaston Kappa Cohenin (1960) mukaan; ja painotetun Kappan Cohenin (1968) mukaan. Laskennallisia yksityiskohtia annetaan myös Altmanissa, 1991 (s. 406-407). Keskivirhe ja 95 %:n luottamusväli lasketaan Fleiss et al., 2003 mukaan.
MedCalcin ilmoittamat keskivirheet ovat sopivia keskivirheitä testattaessa hypoteesia, jonka mukaan painotetun kappan taustalla oleva arvo on yhtä suuri kuin jokin muu ennalta määritelty arvo kuin nolla (Fleiss et al., 2003).
K-arvo voidaan tulkita seuraavasti (Altman, 1991):
| K:n arvo | Yhteensopivuuden vahvuus |
|---|---|
| < 0.20 | Heikko |
| 0.21 – 0.40 | Hyvä |
| 0.41 – 0.60 | Moderate |
| 0.61 – 0.80 | Hyvä |
| 0.81 – 1.00 | Erittäin hyvä |
Kommentti-syöttökenttään voit kirjoittaa kommentin tai johtopäätöksen, joka merkitään tulostettuun raporttiin.
Kirjallisuutta
- Altman DG (1991) Käytännön tilastoja lääketieteellisessä tutkimustyössä. London: Chapman and Hall.
- Cohen J (1960) A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20:37-46.
- Cohen J (1968) Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin 70:213-220.
- Fleiss JL, Levin B, Paik MC (2003) Statistical methods for rates and proportions, 3rd ed. Hoboken: John Wiley & Sons.