Studii pilot: Utilizări comune și utilizări greșite

Deși studiile pilot reprezintă o etapă critică în procesul de dezvoltare și testare a intervențiilor, există mai multe concepții greșite cu privire la adevăratele lor utilizări și utilizări greșite. NCCIH a elaborat un Cadru pentru dezvoltarea și testarea intervențiilor asupra minții și corpului care include informații succinte despre studiile pilot. Aici oferim îndrumări suplimentare, în special cu privire la ceea ce trebuie și ceea ce nu trebuie făcut în cadrul lucrărilor pilot.

Un studiu pilot este definit ca fiind „Un test la scară mică al metodelor și procedurilor care urmează să fie utilizate la o scară mai mare” (Porta, Dictionary of Epidemiology, ediția a 5-a, 2008). Scopul lucrului pilot nu este de a testa ipotezele privind efectele unei intervenții, ci mai degrabă de a evalua fezabilitatea/acceptabilitatea unei abordări care urmează să fie utilizată într-un studiu la scară mai mare. Astfel, într-un studiu pilot nu răspundeți la întrebarea „Funcționează această intervenție?”. În schimb, adunați informații care să vă ajute să răspundeți la întrebarea „Pot să fac acest lucru?”

Utilități ale studiilor pilot

Există multe aspecte de fezabilitate și acceptabilitate care trebuie examinate pentru a răspunde la întrebarea „Pot să fac acest lucru?”. Iată câteva exemple:

Întrebări de fezabilitate	Măsuri de fezabilitate
Pot să-mi recrutez populația țintă?	Numărul de persoane depistate pe lună; numărul de înscriși pe lună; timpul mediu de întârziere de la depistare la înscriere; timpul mediu de înscriere a unui număr suficient de participanți pentru a forma clase (intervenții bazate pe grup)
Pot randomiza populația mea țintă?	Proporția de screening-uri eligibile care se înscriu; proporția celor înscriși care participă la cel puțin o sesiune
Pot păstra participanții în studiu?	Ratele de retenție specifice tratamentului pentru măsurile studiului; motivele abandonului
Vor face participanții ceea ce li se cere să facă?	Ratele de aderență specifice tratamentului la protocolul studiului (participarea la sesiunile în persoană, temele pentru acasă, sesiunile de acasă etc.); măsuri de competență specifice tratamentului
Pot fi administrate tratamentul (tratamentele) conform protocolului?	Ratele de fidelitate specifice tratamentului
Sunt evaluările prea împovărătoare?	Proporția evaluărilor planificate care sunt finalizate; durata vizitelor de evaluare; motivele abandonului
Condițiile de tratament sunt acceptabile pentru participanți?	Calificări de acceptabilitate; evaluări calitative; motivele abandonului; clasificări ale preferințelor specifice tratamentului (înainte și după intervenție)
Sunt credibile condițiile de tratament?	Calificări ale așteptărilor de beneficii specifice tratamentului

S-ar putea să vă gândiți la alte întrebări de fezabilitate relevante pentru intervenția, populația sau proiectul dumneavoastră specific. Atunci când concepeți un studiu pilot, este important să stabiliți repere cantitative clare pentru măsurile de fezabilitate în funcție de care veți evalua fezabilitatea reușită sau nereușită (de exemplu, un reper pentru evaluarea ratelor de aderență ar putea fi ca cel puțin 70 % dintre participanții din fiecare braț să participe la cel puțin 8 din cele 12 sesiuni de grup programate). Aceste repere ar trebui să fie relevante pentru condițiile specifice de tratament și pentru populația studiată și, prin urmare, vor varia de la un studiu la altul. Deși utilizarea unui design randomizat nu este întotdeauna necesară pentru studiile pilot, existența unui grup de comparație poate oferi o examinare mai realistă a ratelor de recrutare, a procedurilor de randomizare, a punerii în aplicare a intervențiilor, a procedurilor de menținere a evaluărilor în orb și a potențialului de evaluare a ratelor diferențiale de abandon. Este probabil ca măsurile de fezabilitate să varieze între proiectele „open-label”, în care participanții știu la ce se înscriu, față de un proiect randomizat în care vor fi repartizați într-un grup.

Pe lângă furnizarea de date importante privind fezabilitatea, așa cum s-a descris mai sus, studiile pilot oferă, de asemenea, o oportunitate pentru echipele de studiu de a dezvolta bune practici clinice pentru a spori rigoarea și reproductibilitatea cercetării lor. Aceasta include dezvoltarea documentației și a procedurilor de consimțământ în cunoștință de cauză, a instrumentelor de colectare a datelor, a procedurilor de raportare reglementară și a procedurilor de monitorizare.

Obiectivul studiilor pilot nu este acela de a testa ipoteze; prin urmare, nu ar trebui să se propună statistici inferențiale. Prin urmare, nu este necesar să furnizați analize de putere pentru dimensiunea eșantionului propus pentru studiul dumneavoastră pilot. În schimb, dimensiunea propusă a eșantionului studiului pilot ar trebui să se bazeze pe considerente practice, inclusiv pe fluxul de participanți, pe constrângerile bugetare și pe numărul de participanți necesar pentru a evalua în mod rezonabil obiectivele de fezabilitate.

Această testare a metodelor și procedurilor care urmează să fie utilizate într-un studiu la scară mai mare este munca de bază critică pe care dorim să o sprijinim în PAR-14-182, pentru a pregăti terenul pentru studiul de eficacitate la scară mai mare. Ca parte a acestui proces, cercetătorii pot, de asemenea, să petreacă timp pentru a-și rafina intervenția prin dezvoltare iterativă și apoi să testeze fezabilitatea abordării lor finale.

Esteticile greșite ale studiilor pilot

În loc să se concentreze pe fezabilitate și acceptabilitate, prea des, studiile pilot propuse se concentrează pe rezultate nepotrivite, cum ar fi determinarea „eficacității preliminare”. Cele mai frecvente utilizări greșite ale studiilor pilot includ:

• Încercarea de a evalua siguranța/tolerabilitatea unui tratament,
• Cercetarea de a furniza un test preliminar al ipotezei de cercetare și
• Estimarea mărimilor efectului pentru calcularea puterii studiului la scară mai mare.

De ce nu pot fi utilizate studiile pilot pentru a evalua siguranța și tolerabilitatea?

Investigatorii își propun adesea să examineze „siguranța preliminară” a unei intervenții în cadrul unui studiu pilot; cu toate acestea, din cauza dimensiunilor mici ale eșantioanelor implicate în mod obișnuit în lucrările pilot, acestea nu pot furniza informații utile privind siguranța, cu excepția cazurilor extreme în care se produce un deces sau apar evenimente adverse grave repetate. Pentru majoritatea intervențiilor propuse de cercetătorii NCCIH, problemele de siguranță suspectate sunt destul de minime/rare și, prin urmare, este puțin probabil să fie detectate într-un studiu pilot de mici dimensiuni. În cazul în care sunt detectate probleme de siguranță, trebuie raportate ratele specifice grupului cu intervale de încredere de 95 % pentru evenimentele adverse. Cu toate acestea, dacă în cadrul studiului pilot nu sunt demonstrate probleme de siguranță, investigatorii nu pot concluziona că intervenția este sigură.

De ce nu pot studiile pilot să furnizeze un „test preliminar” al ipotezei de cercetare?

Vezi în mod obișnuit obiective specifice pentru studiile pilot de fezabilitate care își propun să evalueze „eficacitatea preliminară” a intervenției A pentru afecțiunea X. Cu toate acestea, există două motive principale pentru care studiile pilot nu pot fi utilizate în acest scop. În primul rând, în momentul în care se realizează un studiu pilot, există o stare limitată a cunoștințelor cu privire la cele mai bune metode de implementare a intervenției în populația de pacienți studiată. Prin urmare, concluziile cu privire la faptul dacă intervenția „funcționează” sunt premature, deoarece nu știți încă dacă ați implementat-o corect. În al doilea rând, din cauza dimensiunilor mai mici ale eșantioanelor utilizate în studiile pilot, acestea nu au puterea de a răspunde la întrebări despre eficacitate. Astfel, orice dimensiune a efectului estimată este neinterpretabilă – nu știți dacă „testul preliminar” a returnat un rezultat adevărat, un rezultat fals pozitiv sau un rezultat fals negativ (a se vedea figura 1).

De ce nu pot studiile pilot să estimeze dimensiunile efectului pentru calculele de putere ale studiului la scară mai mare?

Din moment ce orice dimensiune a efectului estimată dintr-un studiu pilot este instabilă, aceasta nu oferă o estimare utilă pentru calculele de putere. Dacă mărimea efectului estimată din studiul pilot a fost într-adevăr prea mare (de exemplu, un rezultat fals pozitiv sau o eroare de tip I), calculele de putere pentru studiul ulterior ar indica un număr mai mic de participanți decât cel necesar în realitate pentru a detecta un efect semnificativ din punct de vedere clinic, ceea ce ar duce în cele din urmă la un studiu negativ. Pe de altă parte, în cazul în care mărimea efectului estimată în urma studiului pilot a fost într-adevăr prea mică (de exemplu, un rezultat fals negativ sau o eroare de tip II), s-ar putea ca studiul ulterior să nici nu fie continuat din cauza presupunerii că intervenția nu funcționează. În cazul în care studiul ulterior a fost conceput, calculele privind puterea ar indica un număr mult mai mare de participanți decât cel necesar în realitate pentru a detecta un efect, ceea ce ar putea reduce șansele de finanțare (prea costisitor) sau, dacă ar fi finanțat, ar expune un număr inutil de participanți la brațele de intervenție (a se vedea figura 1)

.