Mimo, że badania pilotażowe są krytycznym etapem w procesie rozwoju i testowania interwencji, istnieje kilka błędnych przekonań na temat ich prawdziwych zastosowań i niewłaściwego wykorzystania. NCCIH opracował dokument Framework for Developing and Testing Mind and Body Interventions, który zawiera krótkie informacje na temat badań pilotażowych. Poniżej przedstawiamy dodatkowe wytyczne dotyczące tego, co należy, a czego nie należy robić w badaniach pilotażowych.
Badanie pilotażowe definiuje się jako „testowanie na małą skalę metod i procedur, które mają być stosowane na większą skalę” (Porta, Dictionary of Epidemiology, 5th edition, 2008). Celem badania pilotażowego nie jest testowanie hipotez dotyczących efektów interwencji, ale raczej ocena wykonalności/akceptowalności podejścia, które ma być zastosowane w badaniu na większą skalę. Dlatego w badaniu pilotażowym nie odpowiadamy na pytanie „Czy ta interwencja działa?”. Zamiast tego zbieramy informacje, które pomogą nam odpowiedzieć na pytanie „Czy mogę to zrobić?”
- Usługi badań pilotażowych
- Błędy badań pilotażowych
- Dlaczego badania pilotażowe nie mogą być stosowane do oceny bezpieczeństwa i tolerancji?
- Dlaczego badania pilotażowe nie mogą być „wstępnym testem” hipotezy badawczej?
- Dlaczego w badaniach pilotażowych nie można oszacować wielkości efektu do obliczeń mocy badania na większą skalę?
Usługi badań pilotażowych
Istnieje wiele aspektów wykonalności i akceptowalności, które należy zbadać, aby odpowiedzieć na pytanie „Czy mogę to zrobić?”. Oto kilka przykładów:
| Pytania o wykonalność | Mierniki wykonalności |
| Czy mogę zrekrutować moją populację docelową? | Liczba badanych miesięcznie; liczba zapisanych miesięcznie; średni czas od badania do zapisania; średni czas do zapisania wystarczającej liczby uczestników, aby utworzyć klasy (interwencje grupowe) |
| Czy mogę randomizować moją populację docelową? | Proporcja kwalifikujących się uczestników, którzy się zapisują; proporcja zapisanych, którzy uczestniczą w co najmniej jednej sesji |
| Czy mogę utrzymać uczestników w badaniu? | Szczególne wskaźniki utrzymania uczestników w badaniu; przyczyny rezygnacji |
| Czy uczestnicy będą robić to, o co się ich prosi? | Szczególne wskaźniki przestrzegania protokołu badania (uczestnictwo w sesjach osobistych, zadania domowe, sesje domowe itp.); miary kompetencji specyficzne dla leczenia |
| Czy leczenie(-a) można przeprowadzić zgodnie z protokołem? | Wskaźniki wierności specyficzne dla leczenia |
| Czy oceny są zbyt uciążliwe? | Proporcja planowanych ocen, które są ukończone; czas trwania wizyt oceniających; powody rezygnacji |
| Czy warunki leczenia są akceptowalne dla uczestników? | Oceny akceptowalności; oceny jakościowe; powody rezygnacji; oceny preferencji specyficznych dla leczenia (przed i po interwencji) |
| Czy warunki leczenia są wiarygodne? | Oceny oczekiwań korzyści specyficznych dla leczenia |
Można pomyśleć o innych pytaniach dotyczących wykonalności, istotnych dla danej interwencji, populacji lub projektu. Przy projektowaniu badania pilotażowego ważne jest ustalenie jasnych ilościowych punktów odniesienia dla miar wykonalności, na podstawie których będzie można ocenić, czy badanie zakończyło się sukcesem, czy porażką (np. punktem odniesienia dla oceny wskaźników adherencji może być to, że co najmniej 70% uczestników w każdym ramieniu weźmie udział w co najmniej 8 z 12 zaplanowanych sesji grupowych). Te punkty odniesienia powinny odnosić się do konkretnych warunków leczenia i badanej populacji, a zatem będą się różnić w poszczególnych badaniach. Chociaż stosowanie projektu z randomizacją nie zawsze jest konieczne w badaniach pilotażowych, posiadanie grupy porównawczej może zapewnić bardziej realistyczne badanie wskaźników rekrutacji, procedur randomizacji, wdrażania interwencji, procedur utrzymywania ślepej oceny oraz możliwości oceny zróżnicowania wskaźników rezygnacji. Miary wykonalności mogą się różnić w przypadku projektów „otwartych”, w których uczestnicy wiedzą, na co się piszą, w porównaniu z projektami randomizowanymi, w których zostaną przydzieleni do grupy.
Oprócz dostarczania ważnych danych dotyczących wykonalności, jak opisano powyżej, badania pilotażowe dają również zespołom badawczym możliwość opracowania dobrych praktyk klinicznych w celu zwiększenia rygoru i odtwarzalności badań. Obejmuje to opracowanie dokumentacji i procedur świadomej zgody, narzędzi zbierania danych, procedur sprawozdawczości regulacyjnej i procedur monitorowania.
Celem badań pilotażowych nie jest testowanie hipotez; dlatego nie należy proponować statystyk inferencyjnych. Dlatego nie jest konieczne przedstawianie analiz mocy dla proponowanej wielkości próby w badaniu pilotażowym. Zamiast tego, proponowana wielkość próby w badaniu pilotażowym powinna być oparta na względach praktycznych, włączając w to przepływ uczestników, ograniczenia budżetowe i liczbę uczestników potrzebnych do rozsądnej oceny celów wykonalności.
Takie testowanie metod i procedur, które mają być stosowane w badaniu na większą skalę jest krytyczną pracą u podstaw, którą chcemy wspierać w PAR-14-182, aby utorować drogę do badania skuteczności na większą skalę. W ramach tego procesu badacze mogą również spędzić czas na udoskonalaniu interwencji poprzez iteracyjny rozwój, a następnie przetestować wykonalność swojego ostatecznego podejścia.
Błędy badań pilotażowych
Zamiast koncentrować się na wykonalności i akceptowalności, zbyt często proponowane badania pilotażowe koncentrują się na niewłaściwych wynikach, takich jak określenie „wstępnej skuteczności”. Do najczęstszych błędnych zastosowań badań pilotażowych należą:
- Próby oceny bezpieczeństwa/tolerancji leczenia,
- Próby wstępnego sprawdzenia hipotezy badawczej oraz
- Oszacowanie wielkości efektów w celu obliczenia mocy badania na większą skalę.
Dlaczego badania pilotażowe nie mogą być stosowane do oceny bezpieczeństwa i tolerancji?
Inwestorzy często proponują zbadanie „wstępnego bezpieczeństwa” interwencji w ramach badań pilotażowych; jednak ze względu na małe liczebności próby, które zwykle są związane z badaniami pilotażowymi, nie mogą one dostarczyć użytecznych informacji na temat bezpieczeństwa, z wyjątkiem skrajnych przypadków, w których dochodzi do zgonu lub powtarzających się poważnych zdarzeń niepożądanych. W przypadku większości interwencji proponowanych przez badaczy NCCIH podejrzenia dotyczące bezpieczeństwa są minimalne/rzadkie, a zatem mało prawdopodobne, aby zostały wykryte w małym badaniu pilotażowym. W przypadku wykrycia jakichkolwiek obaw dotyczących bezpieczeństwa, należy podać wskaźniki specyficzne dla grupy z 95-procentowymi przedziałami ufności dla zdarzeń niepożądanych. Jeśli jednak w badaniu pilotażowym nie wykazano żadnych problemów związanych z bezpieczeństwem, nie można wnioskować, że interwencja jest bezpieczna.
Dlaczego badania pilotażowe nie mogą być „wstępnym testem” hipotezy badawczej?
Rutynowo spotykamy się z celami badań pilotażowych, w których proponuje się ocenę „wstępnej skuteczności” interwencji A w schorzeniu X. Istnieją jednak dwa podstawowe powody, dla których badania pilotażowe nie mogą być wykorzystane do tego celu. Po pierwsze, w momencie przeprowadzania badania pilotażowego stan wiedzy na temat najlepszych metod wdrażania interwencji w badanej populacji jest ograniczony. Dlatego wnioski dotyczące tego, czy interwencja „działa” są przedwczesne, ponieważ nie wiadomo jeszcze, czy wdrożono ją prawidłowo. Po drugie, ze względu na mniejszą liczebność próby stosowanej w badaniach pilotażowych, nie mają one takiej mocy, aby odpowiedzieć na pytania dotyczące skuteczności. Nie wiadomo, czy „wstępny test” dał wynik prawdziwy, fałszywie dodatni czy fałszywie ujemny (patrz Rycina 1).
Dlaczego w badaniach pilotażowych nie można oszacować wielkości efektu do obliczeń mocy badania na większą skalę?
Ponieważ wielkość efektu oszacowana w badaniu pilotażowym jest niestabilna, nie stanowi ona użytecznego oszacowania do obliczeń mocy. Jeśli wielkość efektu oszacowana w badaniu pilotażowym była rzeczywiście zbyt duża (tj. wynik fałszywie dodatni lub błąd typu I), obliczenia mocy dla kolejnego badania wskazywałyby na mniejszą liczbę uczestników niż faktycznie potrzebna do wykrycia klinicznie istotnego efektu, co ostatecznie skutkowałoby negatywnym wynikiem badania. Z drugiej strony, jeśli wielkość efektu oszacowana w badaniu pilotażowym była rzeczywiście zbyt mała (tj. wynik fałszywie ujemny lub błąd typu II), kolejne badanie może nie być kontynuowane ze względu na założenie, że interwencja nie działa. Jeśli kolejne badanie zostało zaprojektowane, obliczenia mocy wskazywałyby na znacznie większą liczbę uczestników niż faktycznie potrzebna do wykrycia efektu, co może zmniejszyć szanse na finansowanie (zbyt drogie) lub, jeśli zostanie sfinansowane, narazi na niepotrzebną liczbę uczestników ramion interwencji (patrz Rycina 1).
.