Studi pilota: Usi comuni e abusi

Anche se gli studi pilota sono un passo critico nel processo di sviluppo e test degli interventi, esistono diverse idee sbagliate sui loro veri usi e abusi. Il NCCIH ha sviluppato un Framework for Developing and Testing Mind and Body Interventions che include brevi informazioni sugli studi pilota. Qui offriamo una guida aggiuntiva specificamente sulle cose da fare e da non fare nel lavoro pilota.

Uno studio pilota è definito come “Un test su piccola scala dei metodi e delle procedure da utilizzare su scala più ampia” (Porta, Dizionario di Epidemiologia, 5a edizione, 2008). L’obiettivo del lavoro pilota non è quello di testare le ipotesi sugli effetti di un intervento, ma piuttosto, di valutare la fattibilità/accettabilità di un approccio da utilizzare in uno studio su larga scala. Quindi, in uno studio pilota non si sta rispondendo alla domanda “Questo intervento funziona? Si stanno invece raccogliendo informazioni che aiutano a rispondere alla domanda “Posso farlo?”

Usi degli studi pilota

Ci sono molti aspetti di fattibilità e accettabilità da esaminare per rispondere alla domanda “Posso farlo? Ecco alcuni esempi:

Domande di fattibilità	Misure di fattibilità
Posso reclutare la mia popolazione target?	Numero di screening al mese; numero di arruolati al mese; tempo medio dallo screening all’arruolamento; tempo medio per arruolare abbastanza partecipanti per formare le classi (interventi di gruppo)
Posso randomizzare la mia popolazione target?	Percentuale di schermi idonei che si iscrivono; percentuale di iscritti che frequentano almeno una sessione
Posso mantenere i partecipanti nello studio?	Tassi di ritenzione specifici del trattamento per le misure dello studio; ragioni per gli abbandoni
I partecipanti faranno quello che gli viene chiesto di fare?	Tassi di aderenza specifici del trattamento al protocollo dello studio (frequenza alle sessioni in presenza, compiti a casa, sessioni a casa, ecc.); misure di competenza specifiche del trattamento
Il trattamento (o i trattamenti) possono essere eseguiti secondo il protocollo?	Tassi di fedeltà specifici del trattamento
Le valutazioni sono troppo onerose?	Percentuale di valutazioni pianificate che vengono completate; durata delle visite di valutazione; motivi di abbandono
Le condizioni del trattamento sono accettabili per i partecipanti?	Valutazione dell’accettabilità; valutazioni qualitative; ragioni per gli abbandoni; valutazioni delle preferenze specifiche del trattamento (pre e post intervento)
Sono credibili le condizioni di trattamento?	Valutazione delle aspettative di beneficio specifiche del trattamento

Potresti essere in grado di pensare ad altre domande di fattibilità relative al tuo specifico intervento, popolazione o progetto. Quando si progetta uno studio pilota, è importante stabilire chiari punti di riferimento quantitativi per le misure di fattibilità in base ai quali si valuterà il successo o l’insuccesso della fattibilità (ad esempio, un punto di riferimento per valutare i tassi di adesione potrebbe essere che almeno il 70% dei partecipanti in ogni braccio partecipi ad almeno 8 delle 12 sessioni di gruppo programmate). Questi parametri di riferimento dovrebbero essere rilevanti per le specifiche condizioni di trattamento e la popolazione in studio, e quindi varieranno da uno studio all’altro. Mentre l’uso di un disegno randomizzato non è sempre necessario per gli studi pilota, avere un gruppo di confronto può fornire un esame più realistico dei tassi di reclutamento, delle procedure di randomizzazione, dell’attuazione degli interventi, delle procedure per mantenere le valutazioni in cieco, e il potenziale per valutare i tassi di abbandono differenziali. Le misure di fattibilità possono variare tra i disegni “open-label”, dove i partecipanti sanno cosa stanno firmando, rispetto ad un disegno randomizzato dove saranno assegnati ad un gruppo.

Oltre a fornire importanti dati di fattibilità come descritto sopra, gli studi pilota forniscono anche l’opportunità ai team di studio di sviluppare buone pratiche cliniche per migliorare il rigore e la riproducibilità della loro ricerca. Questo include lo sviluppo di procedure di documentazione e consenso informato, strumenti di raccolta dei dati, procedure di segnalazione normativa e procedure di monitoraggio.

L’obiettivo degli studi pilota non è quello di testare le ipotesi; quindi, nessuna statistica inferenziale dovrebbe essere proposta. Pertanto, non è necessario fornire analisi di potenza per la dimensione del campione proposta per lo studio pilota. Invece, la dimensione del campione proposta per lo studio pilota dovrebbe essere basata su considerazioni pratiche che includono il flusso dei partecipanti, i vincoli di bilancio e il numero di partecipanti necessari per valutare ragionevolmente gli obiettivi di fattibilità.

Questo test dei metodi e delle procedure da utilizzare in uno studio su larga scala è il lavoro di base critico che vogliamo sostenere nel PAR-14-182, per aprire la strada allo studio di efficacia su larga scala. Come parte di questo processo, i ricercatori possono anche passare del tempo a perfezionare il loro intervento attraverso lo sviluppo iterativo e poi testare la fattibilità del loro approccio finale.

Gli abusi degli studi pilota

Piuttosto che concentrarsi sulla fattibilità e l’accettabilità, troppo spesso, gli studi pilota proposti si concentrano su risultati inappropriati, come determinare “l’efficacia preliminare”. Gli usi impropri più comuni degli studi pilota includono:

• Tentare di valutare la sicurezza/tollerabilità di un trattamento,
• Cercare di fornire un test preliminare dell’ipotesi di ricerca, e
• Stimare le dimensioni degli effetti per i calcoli di potenza dello studio su scala più ampia.

Perché gli studi pilota non possono essere usati per valutare sicurezza e tollerabilità?

Gli investigatori spesso propongono di esaminare la “sicurezza preliminare” di un intervento all’interno di uno studio pilota; tuttavia, a causa delle piccole dimensioni del campione tipicamente coinvolte nel lavoro pilota, non possono fornire informazioni utili sulla sicurezza, tranne nei casi estremi in cui si verifica un decesso o emergono gravi eventi avversi ripetuti. Per la maggior parte degli interventi proposti dai ricercatori del NCCIH, i sospetti problemi di sicurezza sono abbastanza minimi/rari e quindi è improbabile che vengano rilevati in un piccolo studio pilota. Se vengono rilevati problemi di sicurezza, i tassi specifici del gruppo con intervalli di confidenza del 95% dovrebbero essere riportati per gli eventi avversi. Tuttavia, se nessun problema di sicurezza viene dimostrato nello studio pilota, gli investigatori non possono concludere che l’intervento è sicuro.

Perché gli studi pilota non possono fornire un “test preliminare” dell’ipotesi di ricerca?

Vediamo abitualmente scopi specifici per studi pilota di fattibilità che propongono di valutare “l’efficacia preliminare” dell’intervento A per la condizione X. Tuttavia, ci sono due ragioni principali per cui gli studi pilota non possono essere utilizzati per questo scopo. In primo luogo, nel momento in cui viene condotto uno studio pilota, c’è uno stato limitato di conoscenza sui migliori metodi per implementare l’intervento nella popolazione di pazienti in studio. Pertanto, le conclusioni sul fatto che l’intervento “funzioni” sono premature perché non si sa ancora se è stato implementato correttamente. In secondo luogo, a causa delle dimensioni ridotte del campione utilizzato negli studi pilota, essi non sono alimentati per rispondere alle domande sull’efficacia. Quindi, qualsiasi dimensione stimata dell’effetto non è interpretabile – non si sa se il “test preliminare” ha dato un risultato vero, un risultato falso positivo o un risultato falso negativo (vedi Figura 1).

Perché gli studi pilota non possono stimare le dimensioni dell’effetto per i calcoli di potenza dello studio su larga scala? Se la dimensione dell’effetto stimata dallo studio pilota fosse davvero troppo grande (cioè, un risultato falso positivo, o un errore di tipo I), i calcoli di potenza per lo studio successivo indicherebbero un numero di partecipanti inferiore a quello effettivamente necessario per rilevare un effetto clinicamente significativo, risultando infine in uno studio negativo. D’altra parte, se la dimensione dell’effetto stimato dallo studio pilota fosse davvero troppo piccola (cioè, un risultato falso negativo, o un errore di tipo II), lo studio successivo potrebbe anche non essere perseguito a causa delle ipotesi che l’intervento non funziona. Se lo studio successivo fosse progettato, i calcoli della potenza indicherebbero un numero di partecipanti molto più grande di quello effettivamente necessario per rilevare un effetto, il che potrebbe ridurre le possibilità di finanziamento (troppo costoso), o se finanziato, esporrebbe un numero non necessario di partecipanti ai bracci di intervento (vedi Figura 1).