Cinquenta e sete bandas de garagem

No dia 4 de abril, uma sexta-feira, cientistas em diversas cidades brasileiras se reuniram para um brinde coletivo, feito simultaneamente em oito bares, alguns apartamentos e transmitido em tempo real por uma chamada de vídeo. Foi a comemoração da publicação dos resultados da Iniciativa Brasileira de Reprodutibilidade, projeto criado em 2018 que se propôs a replicar sessenta experimentos publicados pela ciência brasileira nos últimos vinte anos em diversos laboratórios espalhados pelo país.

Inspirado por estudos multicêntricos anteriores que tentaram estimar o quão reprodutível é a ciência publicada em áreas específicas de pesquisa, o projeto foi pioneiro em realizar esse tipo de avaliação em âmbito nacional. A partir de uma amostra aleatória de dezenas de milhares de artigos brasileiros, foram selecionados experimentos com métodos comuns passíveis de execução por um grande consórcio de laboratórios. 

A partir daí, pretendia-se obter uma estimativa do quanto se pode confiar que experimentos publicados por grupos de pesquisa do  país apresentarão resultados semelhantes ao serem repetidos independentemente, um requisito importante para que a ciência possa avançar sobre bases sólidas. A preocupação não é à toa: nas últimas décadas, levantamentos têm sugerido que boa parte da ciência publicada não sobrevive a esse tipo de escrutínio, ainda que os dados sejam escassos e confinados a áreas específicas.

O desenho do projeto tentava aliar forma e conteúdo: se um dos entraves à reprodutibilidade é o fato de laboratórios trabalharem em regime de competição intensa, com amostras pequenas e urgência em publicar resultados, por que não estudar o problema – e quiçá propor soluções – através de um estudo colaborativo, focado em coordenar esforços entre diferentes grupos de pesquisa? 

Fazer isso, porém, não foi simples: a empreitada requereu sete anos – bem como a participação de 56 laboratórios e 213 coautores, além de outros que ficaram pelo caminho. Ao todo, foram 143 replicações de 56 experimentos descritos em artigos publicados por grupos brasileiros entre 1998 e 2017, utilizando três métodos experimentais diferentes: o ensaio de MTT, que mede a viabilidade de células em cultivo, o RT-PCR, usado para analisar a expressão de genes específicos; e o labirinto em cruz elevado, que avalia o comportamento de ansiedade em roedores.

Entre os 47 experimentos em que se conseguiu replicar adequadamente a metodologia utilizada em pelo menos uma das replicações, encontramos resultados semelhantes aos originais entre 15% e 45% das vezes. A taxa exata depende dos critérios utilizados para definir o que é “semelhante”, que incluíram diferentes métodos para comparar efeitos e determinar sua significância estatística, bem como a opinião subjetiva dos laboratórios envolvidos.

Não são números muito animadores, mas eles não estão longe do que a literatura tem encontrado internacionalmente – ainda que nenhum outro país tenha se proposto a fazer o que fizemos. Também conseguimos identificar alguns fatores que parecem estar associados a uma maior reprodutibilidade, como o método experimental, o modelo biológico e a variabilidade do experimento original. Por fim, as previsões de pesquisadores, obtidas por meio de um “bolão de apostas” feito antes do estudo, também mostraram alguma acurácia em prever o que seria replicado – ainda que os participantes tenham superestimado bastante a taxa de sucesso das replicações.

Mais importante do que o que descobrimos acerca dos estudos já publicados, porém, foi o que aprendemos sobre nós mesmos. Tudo o que podemos dizer sobre resultados da literatura é se eles foram ou não replicados, sem ter como saber o que levou às falhas; por outro lado, temos uma descrição bastante extensa do que deu errado nas nossas replicações. E não foi pouco – quase um terço delas acabaram invalidadas por não seguir o protocolo proposto, não incluir variabilidade biológica suficiente ou não documentar adequadamente o que foi feito, entre outras razões.

O fato de nos interessarmos por reprodutibilidade, afinal, não nos torna automaticamente capazes de executar experimentos sem intercorrências, erros ou mudanças de planos. No fim das contas, somos membros da mesma comunidade científica que gerou os experimentos originais, sujeitos às mesmas limitações. E quando os resultados discordam, os problemas podem estar em qualquer uma das duas pontas, ou mesmo em nenhuma das duas.

Mas o importante não é resolver de quem é a culpa: se pesquisadores brasileiros não conseguem replicar experimentos de pesquisadores brasileiros em mais da metade dos casos, o problema é nosso de qualquer forma, e temos que pensar em soluções. Nesse sentido, nos debruçar sobre nossas limitações acabou trazendo os maiores aprendizados do projeto: a partir de um processo de autoavaliação, conseguimos identificar razões para desvios de protocolo e oportunidades para melhorar algumas práticas.

É claro que nem todos os problemas são evitáveis: em alguns casos, foi impossível fazer o método funcionar da forma que tínhamos pensado, e desvios de protocolo eram necessários. Em outros, a culpa foi da infraestrutura do país, como em casos de licenças impossíveis de conseguir, reagentes entregues próximos do vencimento ou laboratórios com limitações de estrutura física. Mas várias invalidações de experimentos poderiam ter sido evitadas com mais atenção ao elaborar ou executar protocolos: por mais que tenhamos juntado um grupo enorme de colaboradores, a execução de cada experimento frequentemente ficava a cargo de uma única pessoa – não raro um estudante de pós-graduação – e a cadeia acaba quebrando no elo mais fraco.

Com isso, descobrimos que a forma que tínhamos idealizado para o projeto não era tão fácil de tornar realidade. Em retrospecto, nossa expectativa de que juntar dezenas de laboratórios interessados seria suficiente para produzir uma ciência confirmatória tão rigorosa quanto gostaríamos parece ingênua. Você pode juntar 56 bandas de garagem, montar mais uma para regê-las e torcer para que o coletivo toque como uma orquestra, mas isso não vai acontecer espontaneamente.

Isso não quer dizer que eu não goste de bandas de garagem – inclusive já toquei em algumas. Nem que a ciência não precise de grupos que atuem com a liberdade e a flexibilidade de uma. Mas também é importante que haja gente no ambiente acadêmico que saiba tocar como uma orquestra. Talvez não seja um problema que a maior parte das ideias científicas sejam inicialmente desenvolvidas com base em experimentos pequenos feitos em um único laboratório. Mas no fim do dia, algumas coisas precisam ser confirmadas para sabermos no que acreditar. E tornar isso uma rotina envolve trabalhar com um grau de coordenação e rigor com o qual pouca gente na pesquisa acadêmica está acostumado.

Cabe notar que esse não é um problema específico do Brasil: ainda que nosso projeto só tenha se debruçado sobre artigos produzidos por aqui, a ampla predominância da ciência exploratória – assim como a baixa reprodutibilidade – na pesquisa biomédica é uma questão mundial. E o fato de termos alguns números para discutir internamente, no fundo, nos coloca na vanguarda dessa discussão.

Ainda assim, já ouvi mais de uma vez o questionamento de “por que fazer esse estudo no Brasil?”. A pergunta geralmente é acompanhada de uma série de ressalvas: nosso orçamento de pesquisa já é escasso, o questionamento público da ciência virou estratégia política, e mostrar esses números sem uma referência para comparação pode fazer com que a nossa reprodutibilidade pareça baixa, dando margem para quem quiser atacar a ciência ou a universidade por aqui.

Minha resposta é que se os números são melhores ou piores do que em outros países não importa. O que importa é que eles poderiam ser melhores, talvez com um esforço nem tão grande. Não que a reprodutibilidade possa chegar a 100% – ou que isso deva ser uma meta, já que o esforço de não errar nunca talvez tornasse a pesquisa inviavelmente lenta e pouco criativa. Mas acertar um pouco mais do que fazemos não parece difícil, e poderia ser obtido com algumas medidas simples.

Há vários anos, levantamentos mostram que medidas de controle de viés como cegamento de experimentadores e cálculos de tamanho amostral são subutilizadas na pesquisa biomédica básica. Nosso grau de transparência ao compartilhar dados e materiais de pesquisa também é baixo: a maior parte dos cientistas não faz isso mesmo depois de prometê-lo. E a experiência da Iniciativa mostra que alguns problemas são simplesmente falta de uma linguagem comum: pesquisadores não concordam sobre o que deve ser uma unidade experimental em experimentos com cultivos celulares, por exemplo, em larga medida porque não há uma forma padronizada para descreverem como lidam com isso.

Mas é provável que essas coisas só mudem em larga escala se houver incentivos por parte de agências de fomento e instituições para que pesquisadores tomem as medidas necessárias. Enquanto formos financiados com base em números de artigos ou pelas revistas em que eles saem, sem que ninguém se preocupe em verificar até que ponto o que está publicado se sustenta, a forma mais fácil de ascender no sistema seguirá sendo fazer ciência pouco rigorosa.

E se ninguém levantar dados e disser em voz alta que temos problemas, arriscamos seguir na autocomplacência. É muito cômodo, afinal, aceitar a narrativa de que fazer ciência é difícil mesmo, que torná-la mais transparente seria caro e que isso está fora do alcance do Brasil – como sugere um texto recente do CNPq, o Conselho Nacional de Desenvolvimento Científico e Tecnológico, ao colocar uma ciência mais aberta como uma visão romântica, ao invés de uma necessidade. Afinal, mesmo que mais da metade do que a gente publique não se sustente, aquilo que não era verdade vai acabar sendo corrigido no longo prazo, e a ciência vai seguir em frente, não?

Sim, é verdade que a ciência avança. E que numa escala cósmica, ela acaba por se autocorrigir: em vinte ou trinta anos, é provável que um resultado que ninguém consegue reproduzir acabe sendo esquecido. Mas quando tem gente que precisa de respostas antes, isso não é bom o suficiente: pergunte para um paciente com doença de Alzheimer inicial ou um câncer que progride rapidamente o que ele acha da abordagem de “lá pelas tantas as coisas vão se resolver” e você vai ouvir a resposta que merece.

E se alguma coisa vai nos fazer perder a confiança pública na ciência, é justamente essa complacência com um sistema científico que poderia ser bem mais eficiente em confirmar suas descobertas. E não mais um estudo entre os muitos que têm mostrado que poderíamos estar fazendo melhor – uma realidade já amplamente conhecida por quem quer desacreditar a ciência publicada para fins políticos. A luz amarela já acendeu há tempos, e não adianta tapá-la com uma peneira.

O que me leva a minha melhor resposta à pergunta de por que fazer isso no Brasil: porque esse é o universo que eu sou capaz de mudar. Ninguém vai me receber nos National Institutes of Health [agência federal dos Estados Unidos para pesquisas médicas], mas juntar laboratórios no Brasil para levantar dados, bater em algumas portas em Brasília e reunir gente para mudar as coisas por aqui parece um horizonte possível. E no fim das contas, isso é o que me interessa mais. Posso até ser cientista, mas como dizia Belchior, eu não estou interessado em nenhuma teoria.