Als bijvoorbeeld een groep studenten een test aflegt, zou je verwachten dat zij zeer vergelijkbare resultaten laten zien als zij dezelfde test een paar maanden later afleggen. Deze definitie berust op de afwezigheid van een storende factor in het tussenliggende tijdsinterval.
Instrumenten zoals IQ-tests en enquêtes zijn uitstekende kandidaten voor een test-hertest-methodologie, omdat er weinig kans is dat mensen plotseling een sprong in IQ maken of plotseling van mening veranderen.
Onderwijstests zijn daarentegen vaak niet geschikt, omdat leerlingen in de tussenliggende periode veel meer informatie zullen leren en bij de tweede test betere resultaten zullen laten zien.
Test-Retest Reliability and the Ravages of Time
Bij voorbeeld, als een groep studenten een aardrijkskunde-test aflegt vlak voor het einde van het semester en een wanneer zij aan het begin van het volgende semester weer op school komen, zouden de tests in grote lijnen dezelfde resultaten moeten opleveren.
Als daarentegen de toets en de hertoets aan het begin en aan het eind van het semester worden afgenomen, mag worden aangenomen dat de tussenliggende lessen de vaardigheid van de leerlingen zullen hebben verbeterd. De test-hertestbetrouwbaarheid zal dus in het gedrang komen en andere methoden, zoals gesplitst testen, zijn beter.
Zelfs als een test-hertestbetrouwbaarheidsproces wordt toegepast zonder dat er sprake is van interveniërende factoren, zal er altijd een zekere mate van fout zijn. Er is een grote kans dat proefpersonen zich sommige vragen van de vorige test herinneren en beter presteren.
Sommige proefpersonen hebben de eerste keer misschien gewoon een slechte dag gehad of ze hebben de test misschien niet serieus genomen. Om deze redenen kunnen leerlingen die een herexamen moeten afleggen, ter compensatie andere vragen en een iets strengere beoordeling verwachten.
Zelfs bij enquêtes is het goed denkbaar dat de meningen sterk veranderen. Mensen kunnen gevraagd zijn naar hun favoriete broodsoort. Als een broodfirma in de tussenliggende periode een lange en uitgebreide reclamecampagne opzet, zal dit waarschijnlijk de mening ten gunste van dat merk beïnvloeden. Dit zal de test-hertest betrouwbaarheid in gevaar brengen en dus de analyse die met voorzichtigheid moet worden behandeld.
Test-hertestbetrouwbaarheid en storende factoren
Om de test-hertestbetrouwbaarheid een element van kwantificering te geven, statistische tests dit in de analyse en genereren een getal tussen nul en één, met 1 is een perfecte correlatie tussen de test en de hertest.
Perfectie is onmogelijk en de meeste onderzoekers accepteren een lager niveau, hetzij 0,7, 0,8 of 0,9, afhankelijk van het specifieke onderzoeksgebied.
Hiermee kunnen storende factoren echter niet volledig worden weggenomen, en een onderzoeker moet hierop anticiperen en deze aanpakken tijdens het onderzoeksontwerp om de test-hertestbetrouwbaarheid te handhaven.
Om de kans te verkleinen dat enkele proefpersonen de resultaten vertekenen, om welke reden dan ook, is de correlatietest veel nauwkeuriger met grote groepen proefpersonen, waardoor de extremen worden overstemd en een nauwkeuriger resultaat wordt verkregen.