Qual é a confiabilidade da informação científica durante a pandemia?

Roxana Tabakman

Notificação

5 de agosto de 2020

Nunca se publicou tanto como desde o início da pandemia de covid-19. Em apenas seis meses, foram mais de 28.000 artigos sobre a doença em revistas com revisão por pares e há mais de 6.000 manuscritos disponíveis nos servidores de preprints, (principalmente medRxiv and bioRxiv), onde os pesquisadores podem fazer públicos seus resultados sem passar pela peneira dos revisores de um periódicocientíficotradicional. A ciência nunca circulou tão rápido e com tanta liberdade como na guerra contra o novo coronavírus. A situação gera novos desafios [1,2] e, como em toda guerra, a credibilidade é uma das principais vítimas.

Quando as prestigiosas revistas The Lancet e NEJM retiraram na mesma semana estudos já publicados, deixaram expostas as falhas dos periódicos mais influentes – que já vinham sendo alvo de comentários entre os pesquisadores. Um indicativo da importância que se atribui a estas publicações é que a própria Organização Mundial da Saúde (OMS) interrompeu um ensaio clínico baseado nos resultados divulgados por uma publicação que foi mais tarde retratada.

O modelo clássico de comunicação acadêmica por meio das revistas científicas vem sofrendo mudanças, nascidas das próprias limitações. A proverbial falta de celeridade (média de 117 dias desde a submissão até a publicação de um artigo, antes da pandemia), foi uma das deficiências que impulsionou o boom dos preprint em tempos de urgência. Nos servidores de preprint, os manuscritos depositados pelos autores são indexados e adquirem visibilidade imediata.

A versão preprint está aberta a comentários e sugestões, pode ser modificada, e fica acessível aos pesquisadores, mas também aos médicos, formuladores de políticas públicas e jornalistas. Às vezes, o servidor é o destino final do manuscrito. Em outras, no entanto, os pesquisadores continuam o processo editorial formal e enviam o artigo simultânea ou posteriormente a um periódico revisado por pares. Preprints e papers não são, portanto, alternativas excludentes. A principal diferença entre eles – e talvez a mais crucial – é que o primeiro não foi avaliado e chancelado pelos pares antes da publicação.

A confiabilidade da pesquisa usada na tomada de decisões é crucial para médicos e pacientes, e a tensão entre celeridade e rigor científico está longe de ser um problema apenas da Academia. Foi alertado que "o uso de estudos falhos poderia reacender a pandemia e levar a uma maior instabilidade econômica. Os milhões que estão sendo investidos em pesquisa serão de pouca utilidade se não forem conduzidos, publicados e usados com integridade". [3] A integridade em pesquisa é, portanto, uma questão-chave.

Três reconhecidas referências em suas áreas, a Dra. Ana Marušić, editora de uma revista acadêmica tradicional, a Dra. Gowri Gopalakrishna, defensora da ciência aberta, e o médico e jornalista Dr. Ivan Oransky discutiram recentemente os problemas, as perspectivas e as propostas de soluções no evento virtual Open Science and Research Integrity to Boost Public Trust in Research Results on COVID-19 in the "Fast Science" Environment. Eles advogaram por mais dados abertos, mais "ceticismo organizado" – em que todas as fases das pesquisas sejam verificadas pela comunidade científica, e não apenas a publicação dos resultados –, e mais honestidade por parte de todos os envolvidos: cientistas, médicos, jornalistas, governos. O clamor geral foi para não tratar a informação científica produzida neste período como comprovada e sem margem a dúvidas.

Realizado em colaboração com a Academia Nacional de Medicina (ANM) e preparatório do VI Encontro Brasileiro sobre Integridade em Pesquisa, Ética na Ciência e em Publicações (VI BRISPE), o evento foi liderado por Sonia Vasconcelos, coordenadora da Câmara Técnica de Ética em Pesquisa na Universidade Federal do Rio de Janeiro (CTEP)/UFRJ e copresidente da VI BRISPE. O Medscape assistiu ao encontro, realizado on-line em julho. Leia a seguir os principais pontos debatidos na reunião, que foi um convite à reflexão para tomar as decisões de uma forma mais e mais bem informada.

Ciência errada e com alto impacto

"A integridade da pesquisa está bastante comprometida em geral. O que temos visto é uma ciência menos robusta sendo empurrada rapidamente. Ciência errada, tendenciosa e preguiçosa, que está sendo amplificada pelas mídias sociais e, em muitos casos, com impacto nas políticas públicas", disse a Dra. Gowri Gopalakrishna Ph.D. – ela trabalhou com várias organizações de saúde pública na formulação de políticas baseadas em evidências e agora lidera uma avaliação para estudar integridade em pesquisa no Departamento de Epidemiologia e Bioestatística da VUmc Amsterdam, Holanda.

Apoiadora dos movimentos de ciência aberta, a Dra. Gowri, reconhece que os preprints podem ser parte do problema. No entanto, frente à pergunta de se a ciência aberta não estaria fazendo mais mal do que bem, ela responde: "depende do tipo de pesquisa".

"Os preprints podem ter um papel muito importante no compartilhamento, por exemplo, de observações clínicas. Mas, quando se trata de intervenções e tratamentos, tem um grande potencial de provocar danos".

Por outro lado, os problemas também existem nas publicações científicas tradicionais revisadas por pares, e não são novos, apontou a pesquisadora.

"Muitos derivam do aforismo "publicar ou perecer", acrescentou a Profa. Ana Marušić, da Faculdade de Medicina de Split (Croácia) que é co-editora-chefe do Journal of Global Health, ex-presidente da Associação Europeia de Editores de Ciências (EASE) e presidente do Comitê de Pesquisa da Associação Mundial de Editores Médicos. De acordo com ela, a quantidade impressionante de publicações que a pandemia gerou "nos faz ver mais claro o que está acontecendo, mas com certeza o mesmo ocorre com outras doenças."

Na opinião dela, não há razão para acreditar que a revisão por pares e a decisão editorial não devam funcionar com qualidade em tempos de crise. "A maneira mais habitual com que compartilhamos pesquisa continua a ser por meio de publicações em periódicos científicos. Isso pode estar mudando, mas ainda precisamos que os dados sejam abertos", ressaltou.

"Estas ideias vêm sendo discutidas há 50 anos, o que prova que os problemas já existiam e podem piorar. É preciso mudanças sistêmicas, não apenas câmbios reativos", provocou o Dr. Ivan Oransky, professor da Faculdade de Medicina da New York Univestity, presidente da Association of Health Care Journalists dos Estados Unidos e vice-presidente editorial do Medscape. Ele é também co-fundador do Retraction Watch , grupo que rastreia e divulga as publicações que foram retratadas pelas revistas científicas após críticas, ou por decisão dos próprios autores.

"Estamos criando uma falsa dicotomia entre preprint e publicação com revisão com pares", avalia o Dr. Ivan. O problema, segundo ele, seria tão abrangente que "seria mais sábio etiquetar toda pesquisa feita durante a pandemia, seja em forma de preprints ou de publicações em periódicos revisados por pares, com o seguinte texto: 'Agora há certas evidências disso, mas provavelmente seja pelo menos parcialmente errado'". [4]

"O que aprendemos durante a crise com o Ebola – ou deveríamos ter aprendido – é que todos somos responsáveis. Sou jornalista, essa é minha responsabilidade, e digo que nós jornalistas temos as mesmas responsabilidades do que outros grupos. Quando você trata tudo como se estivesse comprovado é realmente problemático. É preciso uma reflexão de todos para tomar as decisões: governos, ONGs, cientistas, responsáveis por políticas públicas e a OMS.

Falhas à vista de todos

Não são poucos os estudos que passam pelo processo de revisão por pares e mesmo assim saem com grandes falhas. O que aconteceu com os periódicos The Lancet e NEJM revelou problemas que vinham sendo apontados entre os pesquisadores. O escrutínio foi suficiente? É possível ter certeza de que o que está sendo publicado é digno de confiança? A verdade, admitiu a Profa. Ana Marušić, é não há unanimidade a respeito das respostas.

Ana lembrou que o tema foi discutido recentemente em uma reunião da EASE, e que seu colega francês (e ex-presidente da EASE), Hervé Masonneute, assim como outros, considerou que, em tempos de crise, seria aceitável reduzir os processos de garantia de qualidade a fim de divulgar rapidamente resultados de pesquisas importantes.

"Ele pensa que uma crise de saúde pública, como a guerra, exige decisões urgentes e imediatas, exige que os pesquisadores façam o máximo que puderem para fornecer orientação, e os periódicos precisam se adaptar. Isto significa aceitar dados preliminares, aceitar qualquer tipo de comentários, fazer a revisão por pares rápida e aceitar artigos que tenham mensagens em vez de evidências. Minha posição, porém, é outra", disse a pesquisadora.

Para Ana, não há razão para acreditar que o sistema de revisão por pares e decisão editorial não deva funcionar com a exigência de sempre, mesmo em tempos de crise. Na opinião dela, os editores são responsáveis e têm de garantir que o que é publicado seja verificado quanto a qualidade e integridade.

"Editores são guardiões, não só da boa ciência, mas das boas práticas de publicação. Isso é particularmente importante na pesquisa em saúde, onde informações incorretas contribuem a desinformação e afetam a tomada de decisões."

A respeito das retratações em The Lancet e NEJM – que não são as únicas, apenas as mais comentadas –, ela destacou: "aconteceram porque os dados não eram válidos e não eram abertos. Quando me perguntam se seria melhor ter revisão por pares abertas, eu falo que não, o que precisamos são dados abertos, disponíveis para serem checados por outros pesquisadores", disse, acrescentando que os casos citados seriam marcados ainda por desvios confirmatórios.

"Os autores e os revisores queriam ver aquilo que enxergaram, e não queriam checar os dados", disse.

Como "especialista" em retratações, o Dr. Ivan lembrou que a primeira retratação relacionada à covid-19 aconteceu já no final de janeiro. Era uma pesquisa que foi colocada no servidor da bioRxiv em 31 de janeiro, e que revelava sequências comuns entre o novo coronavírus e o HIV. Os autores concluíam daqueles dados que o SARS- Cov-2 havia sido criado em um laboratório. O artigo foi retirado do servidor dois dias mais tarde.

"Ficou apenas um fim de semana, foi muito rápido. Isso não é usual no mundo da retratação, onde a média entre a publicação e a retratação é de três anos."

O Retraction Watch tem o registro de 22 papers retratados este ano. "Não sabemos se é o esperado ou não, o importante é que aconteceu em seis meses e não em anos, como o habitual", disse o Dr. Ivan.

Assim como o número de artigos aumentou dramaticamente, nas revistas com revisão por pares o tempo entre a submissão e a publicação tem encurtado drasticamente – seis dias, em média, para todo o processo em publicações relacionadas à covid-19, vs. 113 dias antes da pandemia. Para o Dr. Ivan, isso significa que o problema não é o preprint ou a publicação revisada por pares, mas sim a mensagem propagada.

"Estamos frente a uma dicotomia falsa, um preto e branco falso, quando a realidade é cinza. Como, em seis dias, os periódicos avaliam um trabalho? Responderam que não tinham como saber dos problemas, que a revisão por pares não está desenhada para detectar esse tipo de problemas nos dados. Me preocupa, pois então teriam de admitir isso o tempo todo, e deixar claro que o processo de revisão por pares perde muitas coisas. Mas essa não é a mensagem que recebemos das publicações com revisão por pares", questionou o médico.

O erro, segundo o Dr. Ivan, é de interpretação. Os artigos sobre covid-19 não podem ser lidos como se tivessem sido revisados com o mesmo capricho que antes.

"O importante não é se o sistema é perfeito ou imperfeito, mas a honestidade sobre quanta revisão por pares teve um determinado artigo e não dizer às pessoas que o que está ali está provado, porque quase nada está absolutamente provado durante a pandemia."

Ciência à vista de todos

No debate, a Dra. Gowri representava o grupo de pesquisadores que apoia o movimento de ciência aberta, que se apoia em três pilares, dados de pesquisa abertos, comunicação entre pares aberta (que inclui revisão por pares aberta) e acesso aberto (que inclui a disponibilidade da informação grátis em repositórios).

Na apresentação em que se perguntou se a ciência estava vivendo uma crise existencial ela expressou a ideia de que o importante não é ter revisão por pares antes da publicação, mas ter mecanismos eficientes de correção dentro da própria comunidade de pesquisadores em todas as fases de pesquisa.

"A comunicação da ciência está mudando, indo para blogs, para o Twitter, para ambientes onde ocorre a chamada revisão por pares não oficial. Há debates internos nos grupos e há um aumento da demanda dos usuários da ciência, assim como da comunidade científica, por um certo nível de pensamento crítico. Mas o essencial é que este sistema aberto permita que a ciência seja criticada em todas as suas fases e não apenas no final do ciclo, que é a publicação."

Ana Marušić recomendou que os próprios autores chequem tudo várias vezes, e tentem refutar os próprios resultados antes de enviá-los a um periódico, para ter certeza de que o que estão enviando para publicação é confiável.

"Mas também precisamos de dados abertos que possam ser verificados", propôs Ana, que faz parte da diretoria de uma rede de valorização da qualidade e da transparência da pesquisa em saúde, a rede equator.

Velhos problemas e soluções inovadoras

Na plateia virtual, o acadêmico Walter Zin acrescentou uma crítica às companhias editoriais que publicam os periódicos científicos, referindo-se a um aspecto caro aos pesquisadores da América Latina.

"É muito fácil as empresas ganharem dinheiro quando você envia um trabalho de uma pesquisa feita com dinheiro público e os editores e revisores do periódico todos trabalham gratuitamente. Eles oferecem uma espécie de ambiente aberto, mas não é aberto, você tem de pagar uma taxa. Em países pobres, pesquisadores pobres não têm dinheiro para pagar pela publicação nestes periódicos caros. Então há um viés, pesquisadores de países em desenvolvimento não conseguem publicar em revistas de alto nível."

No o desafio de melhorar a qualidade, a Dra. Gowri se disse confiante nas possibilidades dos red team – equipes chamadas de 'defensores do diabo', encarregadas de encontrar erros de forma contínua e de desafiar preconceitos dominantes. Equivalente ao que faz a indústria de software quando contrata hackers para identificar falhas de segurança, os cientistas poderiam incorporar as críticas dos read teams em cada fase de um projeto de pesquisa.

A lógica se assemelha à do sistema de publicação de Registered Reports, na qual os protocolos são revisados antes que os resultados sejam conhecidos. Estas ideias já foram propostas. [5]

"A pedra fundamental da boa ciência é a revisão por pares, não a publicação após revisão por pares. Estes sistemas garantem uma metodologia mais rigorosa desde o início", concluiu a Dra.Gowri.

O Dr. Ivan destacou ainda que os cientistas estão mais preocupados do que nunca, a ponto que criaram uma nova publicação de acesso aberto, a Rapid Reviews Covid-19 RRC19 , para acelerar a revisão por pares de pesquisas relacionadas à covid-19.

"É uma boa ideia, mas como é muito nova ainda não sabemos como vai funcionar. Tenho mais interesse em mostrar a incerteza, em que sejamos honestos sobre os problemas e limitações", insistiu o médico.

Siga o Medscape em português no Facebook, no Twitter e no YouTube

Comente

3090D553-9492-4563-8681-AD288FA52ACE
Comentários são moderados. Veja os nossos Termos de Uso

processing....