Por ejemplo, si un grupo de estudiantes realiza un test, se espera que muestren resultados muy similares si realizan el mismo test unos meses después. Esta definición depende de que no haya ningún factor de confusión durante el intervalo de tiempo intermedio.
Los instrumentos como los tests de CI y las encuestas son los principales candidatos para la metodología de test-retest, porque hay pocas posibilidades de que las personas experimenten un salto repentino en el CI o cambien repentinamente sus opiniones.
Por otro lado, los tests educativos no suelen ser adecuados, porque los estudiantes aprenderán mucha más información durante el período intermedio y mostrarán mejores resultados en el segundo test.
La fiabilidad de los tests y los estragos del tiempo
Por ejemplo, si un grupo de estudiantes realiza un test de geografía justo antes de terminar el semestre y otro cuando regresan a la escuela al comienzo del siguiente, los tests deberían producir, en líneas generales, los mismos resultados.
Si, por el contrario, la prueba y la repetición de la prueba se realizan al principio y al final del semestre, se puede suponer que las lecciones intermedias habrán mejorado la capacidad de los estudiantes. Por lo tanto, la fiabilidad test-retest se verá comprometida y otros métodos, como las pruebas divididas, son mejores.
Incluso si se aplica un proceso de fiabilidad test-retest sin que haya factores intervinientes, siempre habrá algún grado de error. Existe una gran posibilidad de que los sujetos recuerden algunas de las preguntas de la prueba anterior y rindan mejor.
Algunos sujetos pueden simplemente haber tenido un mal día la primera vez o pueden no haberse tomado la prueba en serio. Por estas razones, los estudiantes que se enfrentan a la repetición de los exámenes pueden esperar enfrentarse a preguntas diferentes y a un nivel de calificación ligeramente más duro para compensar.
Incluso en las encuestas, es bastante concebible que haya un gran cambio de opinión. Es posible que se pregunte a la gente por su tipo de pan favorito. En el período intermedio, si una empresa de pan monta una campaña publicitaria larga y expansiva, es probable que esto influya en la opinión a favor de esa marca. Esto pondrá en peligro la fiabilidad del test-retest y, por lo tanto, el análisis que debe manejarse con precaución.
Fiabilidad test-retest y factores de confusión
Para dar un elemento de cuantificación a la fiabilidad test-retest, las pruebas estadísticas lo tienen en cuenta en el análisis y generan un número entre cero y uno, siendo 1 una correlación perfecta entre la prueba y la repetición.
La perfección es imposible y la mayoría de los investigadores aceptan un nivel más bajo, ya sea 0,7, 0,8 o 0,9, dependiendo del campo de investigación particular.
Sin embargo, esto no puede eliminar completamente los factores de confusión, y un investigador debe anticipar y abordar estos durante el diseño de la investigación para mantener la fiabilidad test-retest.
Para amortiguar las posibilidades de que unos pocos sujetos sesguen los resultados, por la razón que sea, la prueba de correlación es mucho más precisa con grupos de sujetos grandes, ahogando los extremos y proporcionando un resultado más preciso.