パイロットスタディは介入の開発とテストのプロセスにおける重要なステップであるが、その真の用途と誤用についていくつかの誤解が存在する。 NCCIHは、パイロットスタディに関する簡単な情報を含むFramework for Developing and Testing Mind and Body Interventions（心と体の介入を開発しテストするためのフレームワーク）を開発した。 ここでは、特にパイロット研究の「やるべきこと」と「やってはいけないこと」についての追加ガイダンスを提供する。
パイロット研究は、「より大規模に使用する方法と手順の小規模テスト」（Porta, Dictionary of Epidemiology, 5th edition, 2008）と定義されている。 パイロット研究の目的は、介入の効果に関する仮説を検証することではなく、より大規模な研究で使用するアプローチの実現可能性/受容性を評価することです。 したがって、パイロット研究では、”この介入は効果があるのか？”という質問に答えるものではありません。 9053>
パイロット研究の用途
「これを行うことができますか」という質問に対処するために、実行可能性と受容性の多くの側面を調べる必要があります。 以下はその例です：
| Feasibility Questions | Feasibility Measures | ||
| Target populationをリクルートできるか？ | 1ヵ月あたりのスクリーニング数、1ヵ月あたりの登録数、スクリーニングから登録までの平均時間、クラスを形成するのに十分な参加者を登録するまでの平均時間（グループベースの介入） | ||
| ターゲット集団を無作為化できますか？ | 登録した適格スクリーンの割合；少なくとも1つのセッションに参加した登録者の割合 | ||
| 参加者を研究にとどめることができますか？ | 研究測定における治療別の継続率；脱落の理由 | ||
| 参加者は言われたことをやるでしょうか？ | 研究プロトコルに対する治療別の遵守率（対面セッションへの出席、宿題、ホームセッションなど） | 。 | |
| 治療はプロトコル通りに行われるか | 治療の忠実度 | ||
| 評価の負担は大きいか | 治療の忠実度 | ||
| 評価の負担は大きいか | 治療はプロトコル通りに行われるか | 治療の忠実度は高いか。 | 計画した評価が完了した割合、評価訪問の期間、脱落の理由 |
| 治療条件は参加者に受け入れられるか？ | 受容性評価；質的評価；脱落理由；治療特異的嗜好評価（介入前後） | ||
| 治療条件は信頼できるか？ | 治療特異的期待利益評価 |
あなたの特定の介入、集団、デザインに関連して他のフィージビリティ質問を考えることができるかも知れません。 パイロット試験を計画する際、実現可能性の成否を評価するための明確な定量的ベンチマークを設定することが重要です（例えば、アドヒアランス率を評価するベンチマークは、各群の参加者の少なくとも70%が、12回の予定グループセッションのうち少なくとも8回は出席することでしょう）。 これらのベンチマークは、研究中の特定の治療条件と集団に関連するものであるべきで、したがって、研究ごとに異なります。 無作為化デザインの使用はパイロット研究では必ずしも必要ではないが、比較群を持つことは、募集率、無作為化手順、介入の実施、盲検評価を維持するための手順、および脱落率の差について評価する可能性についてより現実的な検討を提供することが可能である。 参加者が何にサインアップしたかを知っている「オープンラベル」デザインと、グループに割り当てられるランダム化デザインでは、実施可能性の測定が異なる可能性が高い。
上記のように重要な実施可能性データを提供することに加えて、パイロットスタディは研究チームが研究の厳密性と再現性を高めるために優れた臨床実践を開発する機会も提供する。 これには文書化及びインフォームド・コンセントの手順、データ収集ツール、規制当局への報告手順、モニタリング手順の開発が含まれる。
パイロット試験の目的は仮説を検証することではないため、推測統計は提案すべきではない。 したがって、パイロットスタディで提案されたサンプルサイズについて検出力分析を提供する必要はありません。 その代わり、パイロット試験のサンプルサイズ案は、参加者の流れ、予算の制約、実現可能性の目標を合理的に評価するために必要な参加者数などの実用的な検討に基づいている必要があります。
大規模試験で使用する方法と手順のこのテストは、より大規模な効果試験への道を開くために、PAR-14-182でサポートしたい重要な土台となるものです。 このプロセスの一環として、研究者は反復的な開発を通じて介入を洗練させ、最終的なアプローチの実行可能性をテストするために時間を費やすこともあります。
パイロット試験の誤り
提案されたパイロット試験では、実行可能性や受容性に注目するのではなく、「予備的有効性」の判断など不適切な結果に注目するケースが非常に多いのです。 パイロット・スタディの最も一般的な誤用は以下の通りです：
- 治療の安全性／忍容性を評価しようとする、
- 研究仮説の予備試験を提供しようとする、
- 大規模試験の検出力計算のために効果量を見積もる、
なぜ、安全性と忍容性を評価するのにパイロット・スタディを使ってはいけないのか？
研究者はしばしば、パイロットスタディで介入の「予備的安全性」を調べることを提案します。しかし、パイロットスタディに含まれるサンプルサイズは通常小さいため、死亡が発生したり重篤な有害事象が繰り返し表面化したりする極端な場合を除いて、安全性に関する有益な情報を提供することはできません。 NCCIHの研究者によって提案されたほとんどの介入では、安全性の懸念は非常に少なく、稀であるため、小規模のパイロット研究で発見されることはないだろう。 安全性の懸念が検出された場合、有害事象について95％信頼区間での群別発生率を報告する必要があります。
なぜパイロットスタディでは研究仮説の「予備的検証」ができないのですか？
私たちは日常的に、条件Xに対する介入Aの「予備的効果」の評価を提案する、フィージビリティパイロットスタディの具体的目的を目にしています。 第一に、パイロットスタディが実施される時点では、研究対象の患者集団に介入を実施するための最良の方法に関する知識が限られている。 したがって、介入を正しく実施したかどうかがまだ分からないので、介入が「有効」かどうかについての結論は時期尚早である。 第二に、パイロット研究で使用されるサンプルサイズが小さいため、有効性に関する質問に答えるための検出力がない。 したがって、推定された効果量は解釈不能です。「予備試験」が真の結果を返したのか、偽陽性の結果を返したのか、偽陰性の結果を返したのかわかりません（図1参照）。
なぜパイロットスタディでは、大規模研究の検出力計算のために効果量を推定できないのですか
パイロットスタディから推定された効果量は不安定なので、検出力の計算に役立つ推定値とは言えません。 パイロット試験で推定された効果量が本当に大きすぎる場合（すなわち、偽陽性結果、またはタイプIエラー）、その後の試験の検出力計算は、臨床的に意味のある効果を検出するために実際に必要な人数よりも少ない参加者を示すことになり、最終的に試験は失敗となる。 一方、パイロット試験で推定された効果の大きさが本当に小さすぎた場合（すなわち、偽陰性結果、またはタイプIIエラー）、介入は効果がないという仮定により、その後の試験は追求されないかもしれない。 後続の試験が計画された場合、検出力の計算では効果を検出するために実際に必要な人数よりもはるかに多くの参加者が必要となり、資金提供の可能性が低くなるか（費用がかかりすぎる）、資金提供されても不必要な数の参加者を介入群にさらすことになる（図1参照）
。