A revisão por pares termina o ano de 2011 mais contestada do que começou. O processo que os cientistas adotam pelo menos desde o século 18 para avaliar a qualidade da produção científica tem sido alvo de um número crescente de críticas, num contexto em que a troca de artigos e ideias foi facilitada pela internet e pelas redes sociais. Uma das contestações mais recentes partiu do ex-editor de um renomado periódico médico britânico.
A expressão “revisão por pares” designa o processo de validação dos artigos científicos. Quando pesquisadores querem comunicar uma novidade à comunidade científica, redigem um artigo e encaminham a uma revista especializada. O trabalho só é publicado depois de esquadrinhado por pelo menos dois especialistas da área. Muitos artigos são rejeitados nesse processo. Outros tantos só são publicados depois que os autores refazem experimentos ou reveem suas conclusões a pedido dos revisores. No processo de revisão por pares mais comum, a avaliação é feita de forma anônima, antes da publicação do artigo.
Não vêm de hoje as críticas dirigidas à revisão por pares. Os detratores alegam que ela é rígida, lenta, custosa e pouco eficaz para detectar erros e fraudes, além de sujeita a pontos de vista enviesados dos revisores anônimos. Em 2011, os opositores desse processo ganharam mais munição. Um duro ataque foi dirigido a ele em novembro por Richard Smith num blog do prestigiado , do qual ele foi editor. A partir do relato do périplo pelo qual um trio de pesquisadores britânicos passou para publicar um artigo, Smith concluiu que “é hora de abandonar a revisão por pares anterior à publicação”.
O artigo em questão alega que é possível usar a idade como único fator para avaliar o risco de doenças cardiovasculares de um indivíduo (em detrimento de critérios mais trabalhosos, como a pressão arterial ou a taxa de colesterol no sangue). O trabalho foi rejeitado sete vezes por quatro periódicos antes de ser finalmente aceito pelo PLoS One, onde foi publicado em maio. Nesse processo, o artigo foi analisado por 24 revisores. “Numa estimativa conservadora de duas horas por revisão, isso equivale a mais de uma semana de tempo acadêmico”, apontou Smith. “Se os acadêmicos receberem 50 libras [R$ 150] por hora – de novo uma avaliação conservadora –, o custo será superior a 2 mil libras [R$ 6.000].”
Para ele, o episódio mostrou o grande desperdício de tempo, dinheiro e esforço envolvido no processo, sem que tivesse como contrapartida uma melhoria sensível na qualidade do artigo. “O longo atraso e o alto custo seriam justificados se o que foi publicado no final fosse muito superior ao que foi submetido inicialmente”, observou Smith. Mas não foi o caso: “a mensagem central se manteve a mesma e não foi seriamente contestada”.
A solução para se evitar esse desperdício, para o ex-editor, estaria em se inverter a ordem tradicionalmente usada no processo. Smith defende que a revisão seja feita após a publicação. No exemplo discutido por ele, “nada teria se perdido e muito seria ganho caso esse artigo tivesse sido publicado imediatamente e caso o debate sobre seu valor tivesse sido conduzido em público, em vez de atrás de portas fechadas por mais de dois anos com custo considerável”.
A revisão por pares pós-publicação defendida por Smith parece uma alternativa razoável ao sistema convencional, sobretudo diante da facilidade de interação entre os cientistas oferecida pelas ferramentas sociais da internet. Na prática, esse tipo de revisão já vem sendo adotado por pesquisadores de física e outras ciências exatas acostumados a usar o arXiv, um repositório de artigos que já foi tema de post no blog.
Outra alternativa aventada para aprimorar a revisão por pares é o fim do anonimato dos revisores, uma medida que poderia aumentar a transparência das avaliações, ainda que alguns aleguem que possa comprometer sua independência. Um estudo de três pesquisadores americanos publicado em novembro na PLoS One concluiu que um processo transparente de avaliação tende a aumentar a cooperação entre os revisores e a diminuir o número de erros durante a avaliação, melhorando a qualidade do processo.
Apesar das fragilidades e limitações da revisão por pares, parece haver entre os cientistas um consenso de que esse é o método mais eficaz de que dispomos para manter a qualidade da ciência. Os exemplos discutidos acima mostram que esse processo pode, sim, ser aprimorado caso sofra mudanças para adequá-lo à forma como se faz ciência no século 21.
O blog volta a ser atualizado em janeiro. Boas festas aos leitores frequentes e eventuais.
(Arte: detalhe de cartum do político britânico Austen Chamberlain publicado em 1920 em Punch, or the London Charivari)
Leia também:
Revisão transparente
Errata: Este post foi atualizado em 04/01/2012 para corrigir a conversão de 2 mil libras para reais.