Estudos com Piloto: Usos comuns e usos errados

Embora os estudos-piloto sejam um passo crítico no processo de desenvolvimento e teste da intervenção, existem vários conceitos errados sobre seus verdadeiros usos e usos errados. A NCCIH desenvolveu uma Estrutura para o Desenvolvimento e Teste de Intervenções Mentais e Corporais que inclui breve informação sobre os estudos piloto. Aqui oferecemos orientação adicional especificamente sobre o que fazer e não fazer no trabalho piloto.

Um estudo piloto é definido como “Um teste em pequena escala dos métodos e procedimentos a serem usados em maior escala” (Porta, Dicionário de Epidemiologia, 5ª edição, 2008). O objetivo do trabalho piloto não é testar hipóteses sobre os efeitos de uma intervenção, mas sim avaliar a viabilidade/aceitabilidade de uma abordagem a ser utilizada em um estudo em larga escala. Assim, em um estudo piloto você não está respondendo a pergunta “Esta intervenção funciona? Em vez disso, você está coletando informações para ajudá-lo a responder “Posso fazer isso?”

Uses of Pilot Studies

Existem muitos aspectos de viabilidade e aceitabilidade a serem examinados para abordar a questão “Posso fazer isso? Aqui estão alguns exemplos:

Perguntas de Viabilidade	Medidas de Viabilidade
Posso recrutar minha população alvo?	Número de inscritos por mês; número de inscritos por mês; tempo médio de espera desde a seleção até a inscrição; tempo médio para inscrever participantes suficientes para formar aulas (intervenções em grupo)
Posso aleatorizar a minha população alvo?	Proporção de ecrãs elegíveis que se inscrevam; proporção de inscritos que frequentam pelo menos uma sessão
Posso manter os participantes no estudo?	taxas de retenção específicas de tratamento para medidas de estudo; razões para desistência
Os participantes farão o que lhes for pedido?	Taxas de adesão específicas de tratamento ao protocolo de estudo (presença presencial na sessão, dever de casa, sessões em casa, etc.)); medidas de competência específica do tratamento
Pode o(s) tratamento(s) ser entregue(s) por protocolo?	Ás taxas de fidelidade específica do tratamento
As avaliações são demasiado onerosas?	Proporção de avaliações planejadas que são concluídas; duração das visitas de avaliação; razões para desistência
As condições de tratamento são aceitáveis para os participantes?	Classificações de aceitabilidade; avaliações qualitativas; razões para desistências; classificações de preferências específicas do tratamento (pré e pós-intervenção)
As condições de tratamento são confiáveis?	Expectativa específica do tratamento de classificações de benefícios

Você pode ser capaz de pensar em outras questões de viabilidade relevantes para a sua intervenção, população ou projeto específico. Ao projetar um estudo piloto, é importante estabelecer referências quantitativas claras para medidas de viabilidade através das quais você avaliará a viabilidade bem ou mal sucedida (por exemplo, uma referência para avaliar as taxas de adesão pode ser que pelo menos 70% dos participantes de cada braço participarão de pelo menos 8 das 12 sessões de grupo programadas). Estes padrões de referência devem ser relevantes para as condições específicas de tratamento e população em estudo e, portanto, variarão de um estudo para outro. Embora nem sempre seja necessário utilizar um desenho randomizado para estudos-piloto, ter um grupo de comparação pode proporcionar um exame mais realista das taxas de recrutamento, procedimentos de randomização, implementação de intervenções, procedimentos para manter avaliações cegas e o potencial para avaliar as taxas diferenciais de abandono escolar. É provável que as medidas de viabilidade variem entre desenhos “open-label”, onde os participantes sabem o que estão inscrevendo, versus um desenho randomizado onde serão designados para um grupo.

Além de fornecer dados importantes de viabilidade, como descrito acima, os estudos-piloto também oferecem uma oportunidade para que as equipes de estudo desenvolvam boas práticas clínicas para aumentar o rigor e a reprodutibilidade de suas pesquisas. Isto inclui o desenvolvimento de documentação e procedimentos de consentimento livre e esclarecido, ferramentas de coleta de dados, procedimentos de relatórios regulamentares e procedimentos de monitoramento.

O objetivo dos estudos-piloto não é testar hipóteses; portanto, nenhuma estatística inferencial deve ser proposta. Portanto, não é necessário fornecer análises de poder para o tamanho de amostra proposto para o seu estudo piloto. Em vez disso, o tamanho de amostra proposto para o estudo piloto deve ser baseado em considerações práticas incluindo fluxo de participantes, restrições orçamentárias e o número de participantes necessários para avaliar razoavelmente as metas de viabilidade.

Este teste dos métodos e procedimentos a serem usados em um estudo em larga escala é o fundamento crítico que desejamos apoiar no PAR-14-182, para preparar o caminho para o estudo de eficácia em larga escala. Como parte deste processo, os investigadores também podem gastar tempo refinando sua intervenção através do desenvolvimento iterativo e depois testar a viabilidade de sua abordagem final.

Misuses of Pilot Studies

Realidade do que focar na viabilidade e aceitabilidade, muitas vezes, os estudos-piloto propostos focam em resultados inapropriados, tais como a determinação da “eficácia preliminar”. Os abusos mais comuns dos estudos-piloto incluem:

• Tentando avaliar a segurança/tolerabilidade de um tratamento,
• Procurando fornecer um teste preliminar da hipótese de pesquisa, e
• Estimando tamanhos de efeito para cálculos de potência do estudo em larga escala.

Por que os estudos-piloto não podem ser usados para avaliar a segurança e tolerabilidade?

Investigadores frequentemente propõem examinar a “segurança preliminar” de uma intervenção dentro de um estudo piloto; entretanto, devido ao tamanho pequeno das amostras normalmente envolvidas no trabalho piloto, eles não podem fornecer informações úteis sobre segurança, exceto em casos extremos onde ocorre uma morte ou eventos adversos graves repetidos. Para a maioria das intervenções propostas pelos investigadores do NCCIH, as preocupações suspeitas de segurança são mínimas/raras e, portanto, improváveis de serem detectadas em um pequeno estudo piloto. Se alguma preocupação de segurança for detectada, taxas específicas de grupo com intervalos de confiança de 95% devem ser relatadas para eventos adversos. Entretanto, se nenhuma preocupação de segurança for demonstrada no estudo piloto, os investigadores não podem concluir que a intervenção é segura.

Por que estudos piloto não podem fornecer um “teste preliminar” da hipótese de pesquisa?

Vemos rotineiramente objetivos específicos para estudos piloto de viabilidade que se propõem a avaliar a “eficácia preliminar” da intervenção A para a condição X. Entretanto, há duas razões primárias pelas quais estudos piloto não podem ser usados para este propósito. Primeiro, no momento em que um estudo piloto é realizado, há um estado de conhecimento limitado sobre os melhores métodos para implementar a intervenção na população de pacientes em estudo. Portanto, as conclusões sobre se a intervenção “funciona” são prematuras porque você ainda não sabe se a implementou corretamente. Em segundo lugar, devido ao menor tamanho das amostras utilizadas em estudos-piloto, elas não são capacitadas para responder perguntas sobre a eficácia. Assim, qualquer tamanho de efeito estimado é incompreensível – você não sabe se o “teste preliminar” retornou um resultado verdadeiro, um resultado falso positivo ou um resultado falso negativo (ver Figura 1).

Por que os estudos-piloto não podem estimar tamanhos de efeito para cálculos de potência do estudo de maior escala?

Por que qualquer tamanho de efeito estimado a partir de um estudo-piloto é instável, ele não fornece uma estimativa útil para cálculos de potência. Se o tamanho do efeito estimado a partir do estudo piloto fosse realmente muito grande (ou seja, um resultado falso positivo, ou erro do Tipo I), os cálculos de potência para o ensaio subsequente indicariam um número de participantes menor do que o realmente necessário para detectar um efeito clinicamente significativo, resultando em última análise num ensaio negativo. Por outro lado, se o tamanho do efeito estimado pelo estudo piloto fosse realmente muito pequeno (ou seja, um resultado falso negativo, ou erro de Tipo II), o estudo subseqüente poderia nem mesmo ser realizado devido a suposições de que a intervenção não funciona. Se o estudo subsequente fosse projetado, os cálculos de potência indicariam um número muito maior de participantes do que o realmente necessário para detectar um efeito, o que pode reduzir as chances de financiamento (muito caro), ou se financiado, exporia um número desnecessário de participantes aos braços da intervenção (ver Figura 1).