For eksempel, hvis en gruppe studerende tager en test, kan man forvente, at de vil vise meget ens resultater, hvis de tager den samme test et par måneder senere. Denne definition bygger på, at der ikke er nogen forstyrrende faktor i det mellemliggende tidsinterval.
Instrumenter som IQ-tests og undersøgelser er oplagte kandidater til test-retest-metodologi, fordi der er lille chance for, at folk oplever et pludseligt spring i IQ eller pludselig ændrer deres mening.
På den anden side er uddannelsesmæssige tests ofte ikke egnede, fordi de studerende vil lære meget mere information i den mellemliggende periode og vise bedre resultater i den anden test.
Test-gennemgangsprøvernes pålidelighed og tidens hærgen
For eksempel, hvis en gruppe elever tager en geografi-test lige før semesterafslutningen og en, når de vender tilbage til skolen i begyndelsen af det næste semester, bør testene give stort set de samme resultater.
Hvis prøven og genprøven derimod tages i begyndelsen og i slutningen af semesteret, kan det antages, at de mellemliggende lektioner vil have forbedret elevernes færdigheder. Således vil test-retest reliabiliteten være kompromitteret, og andre metoder, såsom delt testning, er bedre.
Selv om der anvendes en test-retest reliabilitetsproces uden tegn på indblandende faktorer, vil der altid være en vis grad af fejl. Der er en stor chance for, at forsøgspersoner vil huske nogle af spørgsmålene fra den foregående test og præstere bedre.
Nogle forsøgspersoner har måske bare haft en dårlig dag første gang, eller de har måske ikke taget testen alvorligt. Af disse grunde kan elever, der står over for omprøver, forvente at blive stillet over for andre spørgsmål og en lidt hårdere karaktergivning som kompensation.
Selv i undersøgelser kan det sagtens tænkes, at der kan ske en stor ændring i holdningen. Folk kan være blevet spurgt om deres foretrukne brødtype. Hvis et brødfirma i den mellemliggende periode iværksætter en lang og omfattende reklamekampagne, vil dette sandsynligvis påvirke holdningen til fordel for dette mærke. Dette vil bringe test-retest- pålideligheden i fare og dermed analysen, som skal håndteres med forsigtighed.
Test-retest- pålidelighed og forstyrrende faktorer
For at give et element af kvantificering til test-retest- pålideligheden, statistiske test inddrager dette i analysen og genererer et tal mellem nul og et, hvor 1 er en perfekt korrelation mellem test og gentest.
Perfektion er umulig, og de fleste forskere accepterer et lavere niveau, enten 0,7, 0,8 eller 0,9, afhængigt af det pågældende forskningsområde.
Dette kan imidlertid ikke fjerne forvirrende faktorer fuldstændigt, og en forsker skal forudse og tage højde for disse under forskningsdesignet for at opretholde test-retest reliabiliteten.
For at dæmpe risikoen for, at nogle få forsøgspersoner forvrænger resultaterne, uanset årsagen, er korrelationstesten meget mere præcis med store grupper af forsøgspersoner, hvilket overdøver ekstremerne og giver et mere præcist resultat.