A publicação científica está em um pedestal - a sociedade vê os relatórios científicos como o que mais se aproxima da Verdade que temos. Os próprios cientistas sabem que a ciência é uma tentativa de convergir, ao longo de décadas, para uma interpretação medida e comprovada como a menos errada. A verdade está lá fora, mas só podemos esperar ver sua sombra.
No entanto, espero desesperadamente que a publicação científica continue em sua plataforma elevada. Sem isso, tudo o que a sociedade tem é a cacofonia “justa e equilibrada” da internet, onde todos escolherão o charlatanismo e a pseudociência que melhor se adequar à sua calcificação particular de opinião.
No entanto, embora a ciência possa ficar em seu pedestal para o público, na realidade é um carro mágico dirigido por editores e alimentado por revisão por pares - Chitty Chitty Bang Bang!
No melhor de sua capacidade, os editores e revisores devem estabelecer que o que é relatado como ciência segue uma metodologia sólida, de modo que possa ser verificado de forma independente, e que as conclusões apresentadas decorrem justificadamente dos dados e análises usados. Os editores e revisores também devem estabelecer que o que é relatado como ciência é importante - vale o seu tempo e atenção como leitor.
Há uma clara dissonância na comunidade acadêmica: por um lado, as pesquisas mostram que há um amplo consenso entre os cientistas de que a revisão por pares é a pedra angular da publicação acadêmica; por outro, há também uma percepção generalizada de que a revisão por pares não cumpre o que se espera dela e pode, na verdade, às vezes causar problemas. A capacidade do sistema tradicional de revisão por pares de entregar o que se espera dele hoje está sendo cada vez mais desafiada.
No espírito da Peer Review Week 2015 que, além de celebrar a revisão por pares e reconhecer a quantidade significativa de tempo que os pesquisadores gastam nela, também é uma oportunidade para a comunidade debater o que está funcionando e o que não está, eu gostaria de destacar alguns dos desafios - os ruídos incômodos do título - e algumas soluções potenciais.
A revisão por pares e a queda gradual na escada do prestígio do jornal, uma rejeição de cada vez, cria uma demora para publicação. Além do tempo gasto na revisão dos envios que são aceitos, os cientistas gastam talvez 15 milhões de horas todos os anos, revisando os envios que foram rejeitados - não é perdido tempo porque significa que os filtros funcionam (se a revisão por pares sempre levasse à aceitação, seria uma falha miserável para o sistema), mas em muitos casos os relatórios poderiam ser usados para apoiar um decisão positiva em outro jornal. A revisão por pares está aberta para o risco de preconceito - se a nacionalidade, o prestígio institucional, o gênero, as relações pessoais ou outras questões realmente afetam uma determinada revisão por pares e a decisão de publicação é irrelevante. A verdadeira questão é: o autor pode confiar plenamente que eles não o afetarão? Solicitar revisões por pares e perseguir prazos perdidos tornou-se um fardo de proporções absurdas para os escritórios editoriais, consumindo tempo da real administração científica dos objetivos e escopo da revista. E a revisão por pares está aberta ao risco de fraude absoluta: no ano passado, dezenas de artigos foram retirados devido à revisão por pares fraudulenta.
Mas, para mim, o mais significativo desses desafios é a erosão da confiabilidade. A qualidade da revisão por pares simplesmente varia muito, sem qualquer avaliação eficaz dessa qualidade e procedimentos para fazer com que essas avaliações tenham influência nas decisões de publicação.
Sob o sistema atual, há indiscutivelmente pouco incentivo para um pesquisador fazer um investimento significativo de tempo e toda sua atenção e experiência para uma tarefa de revisão por pares. Acredito que a falta de reconhecimento pela revisão por pares - e o tempo que leva - significa que muitos cientistas se contentam em fazê-lo rapidamente, não com cuidado. No entanto, uma revisão por pares boa ou ruim pode literalmente decidir o destino de toda a carreira de algum jovem pesquisador. Quantos jovens brilhantes a ciência perdeu, simplesmente porque uma revisão apressada e descuidada por pares impediu a publicação de um manuscrito importante pouco antes de um prazo final de concessão crucial, levando-os a desistir?
Isso meio que me perdeu. Mas eu ainda amo Chitty Chitty Bang Bang.
Daí meu novo trabalho: construir uma refinaria para desenvolver um combustível de alta octanagem.
At Pariato da Ciência estamos adotando uma abordagem dupla para melhorar a revisão por pares (nenhuma das quais é proprietária, então nada impede que periódicos que não usam o Peerage of Science implementem isso por conta própria.
Em primeiro lugar, engajamento aberto - contanto que sua identidade e qualificação tenham sido validadas por uma fonte externa confiável, e você não seja afiliado aos autores por meio de instituição ou coautoria recente, você pode se comprometer com a revisão por pares de qualquer manuscrito. Editores são bem-vindos para recomendar revisores, mas não possuem direitos exclusivos para fazê-lo - qualquer Par, incluindo os autores, pode recomendar qualquer um. Em segundo lugar, as próprias revisões são revisadas por pares (“revisão por pares de revisão por pares”). Isso cria uma pressão social muito eficaz para os pesquisadores dedicarem mais tempo e esforço ao trabalho de revisão por pares com cuidado. Além disso, a abordagem padrão do anonimato no Peerage of Science é triplo-cego, o que significa que os argumentos de todos - autores, revisores, editores - devem se basear em seus próprios méritos científicos, afetados o menos possível por preconceitos contra ou a favor de fatores pessoais. No entanto, embora este seja o padrão, ao invés de obrigar uma visão particular, Peerage of Science permite que o autor escolha.
Como uma organização membro de ORCID, Peerage of Science também está ansioso para apoiar os novos registros padronizados, citáveis e resolvíveis para o trabalho de revisão por pares em ORCID perfis. É importante que o trabalho de revisão por pares seja reconhecido de uma forma que leve em consideração a qualidade do trabalho, e ter um registro confiável que está vinculado aos resultados da avaliação cruzada e feedback é uma maneira promissora de fazer isso acontecer.
Muitas outras organizações estão, como nós, trabalhando para melhorar o sistema de revisão por pares, seja facilitando o reconhecimento pelo trabalho dos revisores, experimentando novas formas de revisão por pares, encontrando maneiras de reutilizar revisões de artigos rejeitados e muito mais. Portanto, ao celebrar a Semana de Avaliação por Pares - agora e no futuro - vamos todos tentar fazer da revisão por pares algo que justifique o pedestal e mantenha Chitty Chitty Bang Bang voando, 52 semanas por ano.
[Legenda da imagem: Chitty Chitty Bang Bang. Conde Louis Zborowski com Chitty Bang Bang 1 em Brooklands c1921. Imagem de domínio público via Wikipedia.]