Estudios piloto: Usos comunes y usos erróneos

Aunque los estudios piloto son un paso crítico en el proceso de desarrollo y prueba de intervenciones, existen varios conceptos erróneos sobre sus verdaderos usos y usos erróneos. El NCCIH ha elaborado un Marco para el desarrollo y la prueba de intervenciones sobre la mente y el cuerpo que incluye una breve información sobre los estudios piloto. Aquí ofrecemos orientación adicional específicamente sobre lo que se debe y no se debe hacer en el trabajo piloto.

Un estudio piloto se define como «una prueba a pequeña escala de los métodos y procedimientos que se utilizarán a mayor escala» (Porta, Dictionary of Epidemiology, 5ª edición, 2008). El objetivo del trabajo piloto no es probar las hipótesis sobre los efectos de una intervención, sino más bien evaluar la viabilidad/aceptabilidad de un enfoque que se utilizará en un estudio a mayor escala. Por lo tanto, en un estudio piloto no se responde a la pregunta «¿Funciona esta intervención?». En su lugar, está recopilando información para ayudarle a responder «¿Puedo hacer esto?»

Usos de los estudios piloto

Hay muchos aspectos de viabilidad y aceptabilidad que examinar para abordar la pregunta «¿Puedo hacer esto?». He aquí algunos ejemplos:

Preguntas de viabilidad	Medidas de viabilidad
¿Puedo reclutar a mi población objetivo?	Número de cribados por mes; número de inscritos por mes; tiempo medio de demora desde el cribado hasta la inscripción; tiempo medio para inscribir suficientes participantes para formar clases (intervenciones basadas en grupos)
¿Puedo aleatorizar a mi población objetivo?	Proporción de pantallas elegibles que se inscriben; proporción de inscritos que asisten al menos a una sesión
¿Puedo mantener a los participantes en el estudio?	Tasas de retención específicas del tratamiento para las medidas del estudio; razones de los abandonos
¿Harán los participantes lo que se les pide?	Tasas de adherencia específicas del tratamiento al protocolo del estudio (asistencia a las sesiones en persona, tareas, sesiones en casa, etc.); medidas de competencia específicas del tratamiento
¿Pueden administrarse los tratamientos según el protocolo?	Tasas de fidelidad específicas del tratamiento
¿Son las evaluaciones demasiado gravosas?	Proporción de evaluaciones planificadas que se completan; duración de las visitas de evaluación; razones de los abandonos
¿Son las condiciones del tratamiento aceptables para los participantes?	Calificación de la aceptabilidad; evaluaciones cualitativas; razones de los abandonos; calificaciones de preferencia específicas del tratamiento (antes y después de la intervención)
¿Son creíbles las condiciones del tratamiento?	Calificación de las expectativas de beneficio específicas del tratamiento

Es posible que se le ocurran otras preguntas de viabilidad relevantes para su intervención, población o diseño específicos. Al diseñar un estudio piloto, es importante establecer puntos de referencia cuantitativos claros para las medidas de viabilidad por las que evaluará el éxito o el fracaso de la viabilidad (por ejemplo, un punto de referencia para evaluar las tasas de adherencia podría ser que al menos el 70 por ciento de los participantes de cada brazo asistan al menos a 8 de las 12 sesiones de grupo programadas). Estos puntos de referencia deben ser relevantes para las condiciones específicas del tratamiento y la población en estudio, por lo que variarán de un estudio a otro. Aunque el uso de un diseño aleatorio no siempre es necesario para los estudios piloto, tener un grupo de comparación puede proporcionar un examen más realista de las tasas de reclutamiento, los procedimientos de aleatorización, la implementación de las intervenciones, los procedimientos para mantener las evaluaciones ciegas y el potencial para evaluar las tasas de abandono diferenciales. Es probable que las medidas de viabilidad varíen entre los diseños «abiertos», en los que los participantes saben lo que están firmando, frente a un diseño aleatorio en el que se les asignará a un grupo.

Además de proporcionar importantes datos de viabilidad, como se ha descrito anteriormente, los estudios piloto también proporcionan una oportunidad para que los equipos de estudio desarrollen buenas prácticas clínicas para mejorar el rigor y la reproducibilidad de su investigación. Esto incluye el desarrollo de la documentación y los procedimientos de consentimiento informado, las herramientas de recogida de datos, los procedimientos de información reglamentaria y los procedimientos de supervisión.

El objetivo de los estudios piloto no es probar hipótesis; por lo tanto, no se debe proponer ninguna estadística inferencial. Por lo tanto, no es necesario proporcionar análisis de potencia para el tamaño de muestra propuesto para su estudio piloto. En su lugar, el tamaño de la muestra propuesto para el estudio piloto debe basarse en consideraciones prácticas, incluyendo el flujo de participantes, las limitaciones presupuestarias y el número de participantes necesarios para evaluar razonablemente los objetivos de viabilidad.

Esta prueba de los métodos y procedimientos que se utilizarán en un estudio a mayor escala es el trabajo de base crítico que deseamos apoyar en el PAR-14-182, para preparar el camino para el ensayo de eficacia a mayor escala. Como parte de este proceso, los investigadores también pueden dedicar tiempo a refinar su intervención a través de un desarrollo iterativo y luego probar la viabilidad de su enfoque final.

Mismas de los estudios piloto

En lugar de centrarse en la viabilidad y la aceptabilidad, con demasiada frecuencia, los estudios piloto propuestos se centran en resultados inapropiados, como determinar la «eficacia preliminar». Los usos erróneos más comunes de los estudios piloto incluyen:

• Intentar evaluar la seguridad/tolerabilidad de un tratamiento,
• Buscar una prueba preliminar de la hipótesis de investigación, y
• Estimar los tamaños de los efectos para los cálculos de potencia del estudio a mayor escala.

¿Por qué no se pueden utilizar los estudios piloto para evaluar la seguridad y la tolerabilidad?

Los investigadores a menudo proponen examinar la «seguridad preliminar» de una intervención dentro de un estudio piloto; sin embargo, debido a los pequeños tamaños de muestra que suelen implicar los trabajos piloto, no pueden proporcionar información útil sobre la seguridad, excepto en los casos extremos en los que se produce una muerte o aparecen repetidos acontecimientos adversos graves. En el caso de la mayoría de las intervenciones propuestas por los investigadores del NCCIH, las sospechas de problemas de seguridad son mínimas/raras y, por tanto, es poco probable que se detecten en un pequeño estudio piloto. Si se detecta algún problema de seguridad, deben notificarse las tasas específicas del grupo con intervalos de confianza del 95 por ciento para los acontecimientos adversos. Sin embargo, si no se demuestran problemas de seguridad en el estudio piloto, los investigadores no pueden concluir que la intervención es segura.

¿Por qué los estudios piloto no pueden proporcionar una «prueba preliminar» de la hipótesis de investigación?

Vemos habitualmente objetivos específicos para los estudios piloto de viabilidad que proponen evaluar la «eficacia preliminar» de la intervención A para la condición X. Sin embargo, hay dos razones principales por las que los estudios piloto no pueden utilizarse para este propósito. En primer lugar, en el momento en que se realiza un estudio piloto, existe un estado limitado de conocimientos sobre los mejores métodos para aplicar la intervención en la población de pacientes objeto de estudio. Por lo tanto, las conclusiones sobre si la intervención «funciona» son prematuras porque aún no se sabe si se ha aplicado correctamente. En segundo lugar, debido al menor tamaño de las muestras utilizadas en los estudios piloto, no tienen la potencia necesaria para responder a preguntas sobre la eficacia. Por lo tanto, cualquier tamaño del efecto estimado no es interpretable: no se sabe si la «prueba preliminar» ha arrojado un resultado verdadero, un resultado falso positivo o un resultado falso negativo (véase la figura 1).

¿Por qué los estudios piloto no pueden estimar los tamaños del efecto para los cálculos de potencia del estudio a mayor escala?

Dado que cualquier tamaño del efecto estimado a partir de un estudio piloto es inestable, no proporciona una estimación útil para los cálculos de potencia. Si el tamaño del efecto estimado a partir del estudio piloto fuera realmente demasiado grande (es decir, un resultado falso positivo, o un error de tipo I), los cálculos de potencia para el ensayo posterior indicarían un número de participantes inferior al realmente necesario para detectar un efecto clínicamente significativo, lo que en última instancia daría lugar a un ensayo negativo. Por otro lado, si el tamaño del efecto estimado a partir del estudio piloto era realmente demasiado pequeño (es decir, un resultado falso negativo, o error de tipo II), el ensayo posterior podría ni siquiera llevarse a cabo debido a la suposición de que la intervención no funciona. Si se diseñara el ensayo posterior, los cálculos de potencia indicarían un número de participantes mucho mayor que el realmente necesario para detectar un efecto, lo que podría reducir las posibilidades de financiación (demasiado caro) o, si se financiara, expondría a un número innecesario de participantes a los brazos de la intervención (véase la figura 1).