Om till exempel en grupp studenter gör ett test kan man förvänta sig att de kommer att visa mycket liknande resultat om de gör samma test några månader senare. Denna definition bygger på att det inte finns någon störande faktor under det mellanliggande tidsintervallet.
Instrument som IQ-tester och undersökningar är utmärkta kandidater för test-retest-metodik, eftersom risken är liten att människor upplever ett plötsligt hopp i IQ eller att de plötsligt ändrar sina åsikter.
Å andra sidan är utbildningstester ofta olämpliga, eftersom eleverna kommer att lära sig mycket mer information under den mellanliggande perioden och visa bättre resultat i det andra testet.
Test-Retest Reliability and the Ravages of Time
Om till exempel en grupp elever gör ett geografi-test strax före terminens slut och ett när de återvänder till skolan i början av nästa termin, bör testerna ge i stort sett samma resultat.
Om provet och omprovet å andra sidan tas i början och i slutet av terminen kan man anta att de mellanliggande lektionerna kommer att ha förbättrat elevernas förmåga. Således kommer test-retestreliabiliteten att äventyras och andra metoder, t.ex. delade tester, är bättre.
Även om en test-retestreliabilitetsprocess tillämpas utan tecken på ingripande faktorer, kommer det alltid att finnas en viss grad av fel. Det finns en stor chans att försökspersonerna kommer ihåg några av frågorna från det föregående testet och presterar bättre.
Vissa försökspersoner kan bara ha haft en dålig dag första gången eller så har de kanske inte tagit testet på allvar. Av dessa skäl kan elever som ställs inför omtagningar av prov förvänta sig andra frågor och en något tuffare standard för betygsättning för att kompensera detta.
Även i undersökningar är det fullt tänkbart att det kan ske en stor förändring av åsikterna. Människor kan ha blivit tillfrågade om sin favoritsort för bröd. Om ett brödföretag under den mellanliggande perioden genomför en lång och expansiv reklamkampanj är det troligt att detta påverkar opinionen till förmån för det varumärket. Detta kommer att äventyra test-retest-tillförlitligheten och analysen måste därför hanteras med försiktighet.
Test-retest reliabilitet och förväxlingsfaktorer
För att ge test-retest reliabiliteten ett element av kvantifiering, statistiska tester tar hänsyn till detta i analysen och genererar ett tal mellan noll och ett, där 1 är en perfekt korrelation mellan testet och omtestet.
Perfektion är omöjligt och de flesta forskare accepterar en lägre nivå, antingen 0,7, 0,8 eller 0,9, beroende på det särskilda forskningsområdet.
Detta kan dock inte helt och hållet undanröja förväxlingsfaktorer, och en forskare måste förutse och ta itu med dessa under forskningsutformningen för att bibehålla reliabiliteten för test-retest.
För att dämpa risken för att några få försökspersoner kan snedvrida resultaten, oavsett anledning, är korrelationstestet mycket noggrannare med stora grupper av försökspersoner, vilket överröstar ytterligheterna och ger ett mer exakt resultat.