Jos esimerkiksi ryhmä opiskelijoita tekee testin, heidän odotetaan saavan hyvin samankaltaisia tuloksia, jos he tekevät saman testin muutaman kuukauden kuluttua. Tämä määritelmä perustuu siihen, että välisenä aikana ei ole sekoittavia tekijöitä.
Instrumentit, kuten älykkyysosamäärätestit ja kyselytutkimukset, ovat parhaita ehdokkaita test-retest-menetelmälle, koska on epätodennäköistä, että ihmisten älykkyysosamäärässä tapahtuu äkillinen hyppäys tai että heidän mielipiteensä muuttuvat yhtäkkiä.
Opiskelukokeet eivät toisaalta useinkaan sovellu tähän tarkoitukseen, koska opiskelijat oppivat välisenä aikana paljon enemmän informaatiota ja saavat paremmat tulokset toisessa kokeessa.
Testin ja testin välinen reliabiliteetti ja ajan hammas
Jos esimerkiksi joukko opiskelijoita tekee maantiedon testin juuri ennen lukukauden päättymistä ja toisen palatessaan takaisin kouluun seuraavan lukuvuoden alkaessa, testeistä pitäisi saada suurin piirtein samat tulokset.
Jos taas koe ja uusintakoe tehdään lukukauden alussa ja lopussa, voidaan olettaa, että välisenä aikana pidetyt oppitunnit ovat parantaneet oppilaiden taitoja. Näin ollen testin ja uusintatestin luotettavuus vaarantuu, ja muut menetelmät, kuten ositettu testaus, ovat parempia.
Sitäkin huolimatta, että testin ja uusintatestin luotettavuusmenetelmää sovelletaan ilman merkkejä puuttuvista tekijöistä, virheitä esiintyy aina jonkin verran. On hyvin mahdollista, että koehenkilöt muistavat osan edellisen testin kysymyksistä ja suoriutuvat niistä paremmin.
Joillain koehenkilöillä on saattanut vain olla huono päivä ensimmäisellä kerralla tai he eivät ole ottaneet testiä vakavasti. Näistä syistä opiskelijat, jotka joutuvat uusintakokeisiin, voivat odottaa kohtaavansa erilaiset kysymykset ja hieman tiukemman arvostelustandardin kompensaationa.
Jopa kyselytutkimuksissa on täysin mahdollista, että mielipiteet voivat muuttua suuresti. Ihmisiltä on saatettu kysyä heidän lempileipälajiaan. Jos leipäyritys järjestää välisenä aikana pitkän ja laajan mainoskampanjan, se todennäköisesti vaikuttaa mielipiteeseen kyseisen merkin hyväksi. Tämä vaarantaa testin ja uusintatestin luotettavuuden, joten analyysiin on suhtauduttava varovaisesti.
Testin ja uusintatestin luotettavuus ja sekoittavat tekijät
Testin ja uusintatestin välisen luotettavuuden kvantifioimiseksi, Tilastolliset testit ottavat tämän huomioon analyysissä ja tuottavat luvun nollan ja ykkösen väliltä, kun 1 tarkoittaa täydellistä korrelaatiota testin ja uusintatestin välillä.
Täydellisyys on mahdotonta, ja useimmat tutkijat hyväksyvät alhaisemman tason, joko 0,7, 0,8 tai 0,9, tutkimusalasta riippuen.
Tämä ei kuitenkaan pysty poistamaan sekoittavia tekijöitä kokonaan, ja tutkijan on ennakoitava ja käsiteltävä niitä tutkimussuunnittelun aikana testin ja uusintatestin luotettavuuden säilyttämiseksi.
Vaimentaakseen mahdollisuutta, että muutama koehenkilö vääristää tuloksia jostain syystä, korrelaatiotesti on paljon tarkempi suurilla koehenkilöryhmillä, jotka hukuttavat ääripäät ja antavat tarkemman tuloksen.