Études pilotes : Utilisations et mésusages courants

Bien que les études pilotes soient une étape critique dans le processus de développement et de test des interventions, plusieurs idées fausses existent sur leurs véritables utilisations et mésusages. Le NCCIH a élaboré un cadre pour le développement et le test des interventions sur le corps et l’esprit qui comprend de brèves informations sur les études pilotes. Nous proposons ici des conseils supplémentaires portant spécifiquement sur les choses à faire et à ne pas faire dans le cadre d’un travail pilote.

Une étude pilote est définie comme « un test à petite échelle des méthodes et procédures à utiliser à plus grande échelle » (Porta, Dictionary of Epidemiology, 5e édition, 2008). Le but du travail pilote n’est pas de tester des hypothèses sur les effets d’une intervention, mais plutôt d’évaluer la faisabilité/acceptabilité d’une approche à utiliser dans une étude à plus grande échelle. Ainsi, dans une étude pilote, vous ne répondez pas à la question « Est-ce que cette intervention fonctionne ? ». Au lieu de cela, vous recueillez des informations pour vous aider à répondre à la question « Puis-je faire cela ? »

Usages des études pilotes

Il existe de nombreux aspects de faisabilité et d’acceptabilité à examiner pour répondre à la question « Puis-je faire cela ? ». Voici quelques exemples :

Questions de faisabilité	Mesures de faisabilité
Puis-je recruter ma population cible ?	Nombre de dépistés par mois ; nombre d’inscrits par mois ; délai moyen entre le dépistage et l’inscription ; délai moyen pour inscrire suffisamment de participants pour former des classes (interventions en groupe)
Puis-je randomiser ma population cible ?	Proportion des écrans admissibles qui s’inscrivent ; proportion des inscrits qui assistent à au moins une session
Puis-je garder les participants dans l’étude ?	Taux de rétention spécifique au traitement pour les mesures de l’étude ; raisons des abandons
Les participants feront-ils ce qu’on leur demande de faire ?	Taux d’adhésion spécifique au traitement au protocole de l’étude (présence aux séances en personne, devoirs, séances à domicile, etc.) ; mesures de compétence spécifiques au traitement
Le ou les traitements peuvent-ils être dispensés conformément au protocole ?	Taux de fidélité spécifiques au traitement
Les évaluations sont-elles trop lourdes ?	Proportion des évaluations prévues qui sont réalisées ; durée des visites d’évaluation ; raisons des abandons
Les conditions de traitement sont-elles acceptables pour les participants ?	Notes d’acceptabilité ; évaluations qualitatives ; raisons des abandons ; notes de préférence spécifiques au traitement (avant et après l’intervention)
Les conditions de traitement sont-elles crédibles ?	Notes d’attente de bénéfices spécifiques au traitement

Vous pourrez peut-être penser à d’autres questions de faisabilité pertinentes pour votre intervention, votre population ou votre conception spécifique. Lors de la conception d’une étude pilote, il est important de fixer des repères quantitatifs clairs pour les mesures de faisabilité par lesquels vous évaluerez la réussite ou l’échec de la faisabilité (par exemple, un repère pour évaluer les taux d’adhésion pourrait être qu’au moins 70 % des participants de chaque bras assisteront à au moins 8 des 12 sessions de groupe prévues). Ces critères doivent être pertinents pour les conditions de traitement spécifiques et la population étudiée, et varieront donc d’une étude à l’autre. Bien qu’il ne soit pas toujours nécessaire d’utiliser une conception randomisée pour les études pilotes, le fait d’avoir un groupe de comparaison peut permettre un examen plus réaliste des taux de recrutement, des procédures de randomisation, de la mise en œuvre des interventions, des procédures de maintien des évaluations en aveugle et de la possibilité d’évaluer les taux d’abandon différentiels. Les mesures de faisabilité sont susceptibles de varier entre les conceptions  » ouvertes « , où les participants savent ce à quoi ils s’engagent, et une conception randomisée où ils seront assignés à un groupe.

En plus de fournir d’importantes données de faisabilité telles que décrites ci-dessus, les études pilotes offrent également la possibilité aux équipes d’étude de développer de bonnes pratiques cliniques pour améliorer la rigueur et la reproductibilité de leur recherche. Cela inclut le développement de la documentation et des procédures de consentement éclairé, des outils de collecte de données, des procédures de rapport réglementaire et des procédures de surveillance.

Le but des études pilotes n’est pas de tester des hypothèses ; ainsi, aucune statistique inférentielle ne doit être proposée. Par conséquent, il n’est pas nécessaire de fournir des analyses de puissance pour la taille d’échantillon proposée de votre étude pilote. Au lieu de cela, la taille d’échantillon proposée pour l’étude pilote doit être basée sur des considérations pratiques, notamment le flux de participants, les contraintes budgétaires et le nombre de participants nécessaires pour évaluer raisonnablement les objectifs de faisabilité.

Ce test des méthodes et procédures à utiliser dans une étude à plus grande échelle est le travail de base critique que nous souhaitons soutenir dans le PAR-14-182, pour ouvrir la voie à l’essai d’efficacité à plus grande échelle. Dans le cadre de ce processus, les chercheurs peuvent également passer du temps à affiner leur intervention par le biais d’un développement itératif, puis à tester la faisabilité de leur approche finale.

Mauvais usages des études pilotes

Plutôt que de se concentrer sur la faisabilité et l’acceptabilité, trop souvent, les études pilotes proposées se concentrent sur des résultats inappropriés, tels que la détermination d’une « efficacité préliminaire ». Les mauvaises utilisations les plus courantes des études pilotes comprennent :

• Tenter d’évaluer la sécurité/tolérance d’un traitement,
• Seeking to provide a preliminary test of the research hypothesis, et
• Estimating effect sizes for power calculations of the larger scale study.

Pourquoi les études pilotes ne peuvent-elles pas être utilisées pour évaluer la sécurité et la tolérance ?

Les enquêteurs proposent souvent d’examiner la « sécurité préliminaire » d’une intervention dans le cadre d’une étude pilote ; cependant, en raison de la petite taille des échantillons généralement impliqués dans les travaux pilotes, ils ne peuvent pas fournir d’informations utiles sur la sécurité, sauf dans les cas extrêmes où un décès survient ou des événements indésirables graves répétés font surface. Pour la plupart des interventions proposées par les chercheurs du CCNSI, les problèmes d’innocuité soupçonnés sont plutôt minimes/rare et donc peu susceptibles d’être détectés dans une petite étude pilote. Si des problèmes de sécurité sont détectés, les taux spécifiques au groupe avec des intervalles de confiance de 95 pour cent doivent être rapportés pour les événements indésirables. Cependant, si aucun problème de sécurité n’est démontré dans l’étude pilote, les investigateurs ne peuvent pas conclure que l’intervention est sûre.

Pourquoi les études pilotes ne peuvent-elles pas fournir un « test préliminaire » de l’hypothèse de recherche ?

Nous voyons régulièrement des objectifs spécifiques pour les études pilotes de faisabilité qui proposent d’évaluer « l’efficacité préliminaire » de l’intervention A pour la condition X. Cependant, il y a deux raisons principales pour lesquelles les études pilotes ne peuvent pas être utilisées à cette fin. Premièrement, au moment où une étude pilote est menée, l’état des connaissances sur les meilleures méthodes de mise en œuvre de l’intervention dans la population de patients étudiée est limité. Par conséquent, les conclusions sur le fait que l’intervention « fonctionne » sont prématurées car on ne sait pas encore si on l’a mise en œuvre correctement. Deuxièmement, en raison de la taille réduite des échantillons utilisés dans les études pilotes, celles-ci n’ont pas la puissance nécessaire pour répondre aux questions sur l’efficacité. Ainsi, toute taille d’effet estimée est ininterprétable – vous ne savez pas si le « test préliminaire » a donné un vrai résultat, un faux résultat positif ou un faux résultat négatif (voir la figure 1).

Pourquoi les études pilotes ne peuvent-elles pas estimer les tailles d’effet pour les calculs de puissance de l’étude à plus grande échelle ?

Puisque toute taille d’effet estimée à partir d’une étude pilote est instable, elle ne fournit pas une estimation utile pour les calculs de puissance. Si la taille de l’effet estimée à partir de l’étude pilote était vraiment trop importante (c’est-à-dire un résultat faussement positif, ou une erreur de type I), les calculs de puissance pour l’essai ultérieur indiqueraient un nombre de participants inférieur à celui réellement nécessaire pour détecter un effet cliniquement significatif, ce qui entraînerait finalement un essai négatif. D’autre part, si la taille de l’effet estimée à partir de l’étude pilote était vraiment trop faible (c’est-à-dire un résultat faussement négatif, ou une erreur de type II), l’essai ultérieur pourrait même ne pas être poursuivi en raison des hypothèses selon lesquelles l’intervention ne fonctionne pas. Si l’essai ultérieur était conçu, les calculs de puissance indiqueraient un nombre de participants beaucoup plus important que celui réellement nécessaire pour détecter un effet, ce qui pourrait réduire les chances de financement (trop coûteux) ou, en cas de financement, exposerait un nombre inutile de participants aux bras d’intervention (voir figure 1).