Para comemorar a semana de avaliação por pares, representantes de ORCID, ScienceOpen, Sense About Science e Wiley se reuniram (virtualmente) para discutir por que a revisão por pares é importante - para eles e para suas organizações - e o que esperam alcançar nesta semana.
Muito obrigado aos participantes Stephanie Dawson (CEO, ScienceOpen), Chris Graf (Diretor de Novos Negócios, Inovações Profissionais para Associações e Sociedades, Wiley), Peter Gregory (Editor-Chefe de Materiais Avançados, VP e Diretor de Publicação, Wiley), Laure Haak (Diretor-executivo, ORCID), Emily Jesper (Diretora Assistente, Sense about Science)
(da esquerda para a direita: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stephanie Dawson (SD): Quando comecei como gerente de jornal na editora De Gruyter, costumava receber três cópias de cada manuscrito, que colocava em envelopes e enviava para o Japão ou Argentina pelo correio e esperava que o revisor escolhido tivesse tempo para revisar. Muita coisa mudou desde então e muito não. Alguns revisores fizeram um trabalho extremamente cuidadoso ao ajudar os autores a melhorar seus artigos, outros enviaram uma rejeição em três linhas. Eu realmente vi em primeira mão como o processo pode ser heterogêneo e gostaria de agradecer pessoalmente a cada revisor que se esforçou para realmente ajudar seus colegas.
Com a rede de pesquisa e publicação ScienceOpen, uma de nossas funções distintas, além de uma editora Gold Open Access (OA) e agregadora de conteúdo, é a de um reformador de revisão por pares. Nosso objetivo é aumentar a confiança no processo de revisão por pares, tornando-o totalmente transparente. Assim, todos poderão ver (e até agradecer) os revisores que estão fazendo um trabalho excepcional para melhorar a qualidade da comunicação científica.
Implementamos um novo fluxo de trabalho para demonstrar a eficácia de uma abordagem diferente para a revisão por pares e sua adequação para o futuro digital da comunicação acadêmica que acreditamos precisará acelerar e envolver a publicação de muito mais objetos digitais do que o único artigo atual unidade.
Chris Graf (CG): Por falar em novos fluxos de trabalho, estou pessoalmente interessado em como a revisão por pares antes e depois da publicação combinada fará um sistema melhor.
A revisão por pares antes da publicação valida e organiza a pesquisa e, no geral, faz um ótimo trabalho. Mas - sejamos honestos - às vezes erra espetacularmente. E é aí que entra a revisão por pares pós-publicação.
A revisão por pares pós-publicação pode ajudar a contextualizar, organizar e - estimulante para mim - talvez também ofereça um ponto de entrada mais acessível para os leitores (por exemplo, comentários no PubPeer, PubMed Commons, métricas e mais em Kudos, fornece uma orientação para os leitores e ajuda a superfície artigos). E - sim - a revisão por pares pós-publicação elimina as ocasionais maçãs podres. O que é importante.
Por último, precisamos parar e pensar - e ter uma discussão pública - sobre se devemos ver um artigo revisado por pares como absoluto, definitivo, final e 100% correto apenas porque é revisado por pares. Pode ser mais realista pensar em um artigo revisado por pares como uma etapa em uma jornada de pesquisa (bastante tortuosa), na qual podemos esperar cometer erros, tomar caminhos errados, tropeçar e tomar novas direções antes de chegarmos ao nosso destino final: A resposta. Muitos passos fazem essa jornada, e muitas pesquisas compõem as evidências que usamos para informar a prática e a política.
Laure Haak (LH): Eu concordo totalmente com seu último ponto, mas, em termos de validação, é isso que a revisão por pares faz? É suposto ser o filtro que diz: este artigo usou a metodologia e as estatísticas corretas (no caso de um artigo de ciências) ou estamos realmente procurando o revisor para avaliar o fluxo lógico do artigo? Afinal, de quem é a responsabilidade se o papel for considerado “fraudulento”? Podemos realmente esperar / queremos que esse peso recaia sobre o revisor?
Emily Jesper (EJ): E quanto ao ponto de Chris sobre o papel da revisão por pares em informar a prática e as políticas, é claro que a revisão por pares não é apenas algo significativo para os pesquisadores científicos. Por indicar que a pesquisa foi examinada por especialistas independentes na área, a revisão por pares é uma consideração importante para os formuladores de políticas, repórteres e o público ao avaliar as alegações de pesquisa e debates sobre ciência. Compreender o status das alegações de pesquisa é fortalecedor. Ajuda-nos a ponderar as alegações e a usar evidências para tomar decisões. Desde que a Sense About Science foi criada em 2002, temos trabalhado para popularizar a compreensão da revisão por pares de forma mais ampla. Nosso guia público de revisão por pares Eu não sei no que acreditar incentiva as pessoas a perguntarem “É revisado por pares?” ao pesar afirmações sobre a ciência.
Pedro Gregório (PSG): Embora você esteja certo de que a revisão por pares tem um significado mais amplo, ela é importante para a Wiley principalmente porque é importante para a comunidade acadêmica à qual servimos. Além de reunir opiniões e melhorar as contribuições, a revisão por pares também fornece, principalmente nas ciências e na medicina, uma válvula de escape, evitando a distribuição de artigos incorretos ou mesmo perigosos.
LH: Sim, a revisão por pares é um componente central da prática acadêmica. É um conjunto estabelecido de métodos para reunir comentários sobre trabalhos acadêmicos (artigos, livros, bolsas, programas e muito mais) de pares - especialistas na área - com o objetivo final de melhorar o trabalho. ORCID está interessada na revisão por pares porque as pessoas estão envolvidas, tanto os criadores dos trabalhos quanto os revisores. Estamos trabalhando com a comunidade para desenvolver métodos digitais para reconhecer as contribuições dos revisores, citando atividades de revisão por pares. Com isso, esperamos encorajar acadêmicos a participarem como revisores e também apoiar outros que estão trabalhando em questões de confiança no processo de revisão.
SD: Eu amo a ideia de fazer ORCID o local onde os pesquisadores podem registrar suas atividades de revisão. ScienceOpen está tentando resolver isso com análises abertas que têm um CrossRef DOI registrado. Publons também está fazendo um bom trabalho nisso, bem como apoiando revisores em revistas de revisão por pares cegas. Em casos de revisão cega, eles estão verificando com os editores se um revisor realmente fez o trabalho que eles afirmam - no momento, seria fácil para um pesquisador adicionar "revisão para a Nature and Cell" ao seu currículo porque não há como verificar isso em nosso sistema de revisão cega atual. Mais uma vez, confiança e transparência são fundamentais.
PSG: Espero que esta semana de revisão por pares ajude a intensificar a discussão da revisão por pares e comece a sensibilizar os participantes (editores, autores, editores, avaliadores, financiadores, etc.) para as diferenças nas formas como a revisão por pares é aplicada e é útil em diferentes comunidades. Algumas áreas coletam opiniões, outras são mais baseadas em fatos; alguns se beneficiam da circulação de pré-impressão (antes da revisão por pares e publicação, quero dizer) alguns são prejudicados por ela; para alguns, a revisão da publicação é inovadora, para alguns é perigosa. Isso me leva à conclusão de que aqueles que trabalham para melhorar / mudar a revisão por pares devem considerar cuidadosamente que um tamanho não serve para todos.
SD: Concordo que não haverá uma solução “tamanho único”, mas diferentes comunidades também podem aprender umas com as outras, especialmente porque um aumento na pesquisa interdisciplinar as aproxima. Um ótimo exemplo é o servidor de pré-impressão de ciências biológicas BioRxiv, que se baseia na experiência positiva de pré-impressão da comunidade da física com o arXiv. No novo campo da bioinformática, os cientistas da computação simplesmente colocam suas pré-impressões no arXiv, e o pesquisador vindo mais das ciências da vida perguntou "o que é isso?" Então, algo realmente interessante é meu crescimento justamente nesses pontos de fricção. Além disso, a nova tendência para megajournals como PLoS One, SpringerOpen, Scientific Reports, requer repensar a revisão por pares para caber uma ampla gama de comunidades e todos esses periódicos chegaram a pedir aos revisores que apenas revisem a solidez científica dos resultados. Portanto, isso pode nos dar algumas pistas sobre o que o denominador comum da revisão por pares pode estar avançando.
LH: A ideia de um denominador comum é realmente a chave e é exatamente o tipo de discussão que espero que a semana de avaliação por pares gere - estimulando e concentrando a conversa em curso sobre a avaliação por pares e, ao fazê-lo, trazendo à tona o que está sendo feito na prática para apoiar as melhorias .
SD: Da perspectiva da ScienceOpen, esta semana de avaliação por pares, queremos fazer uma pergunta simples. À medida que o número de resultados de pesquisa cresce e se diversifica (conjuntos de dados, resultados negativos, relatos de casos, pré-impressões, pôsteres ...) a comunidade de pesquisa será capaz de revisar por pares todos esses objetos antes da publicação? Achamos que não. Não há tempo suficiente durante o dia, dinheiro para pagar ou mesmo apetite para fazer isso agora. Essas saídas serão úteis mesmo assim? Com certeza, se tivermos uma maneira poderosa de localizá-los e filtrá-los com base em parâmetros que os leitores consideram úteis e os autores consideram gratificantes. Por exemplo:
- O que meus colegas pensam desta informação?
- Existem atualizações para ele?
- Que impacto isso causou no mundo e quem percebeu?
- Qual trabalho vale a pena destacar em um campo específico?
- Quantas vezes foi citado e onde?
- Se eu dedicar um tempo para analisá-la, minha contribuição pode ser encontrada e citada?
- Esses esforços aumentarão minhas perspectivas de carreira?
- Quantas vezes foi citado e onde?
Nenhuma dessas questões válidas foi afetada por uma evolução que se afastou da revisão por pares anônima cega ou duplo-cega, além da velocidade com que podemos respondê-las. Processos transparentes e ferramentas simples da web podem filtrar mais rápido, melhor e mais barato do que os periódicos e a revisão por pares antes da publicação.
É por isso que na ScienceOpen desenvolvemos sistemas para revisão por pares pós-publicação; Controle de versão; Alocação de DOI; Artigo Metrics; Coleções; Open Citation Information e muito mais - para demonstrar uma maneira diferente (e diríamos melhor) de avanço.
LH: Não tenho certeza se concordo que a revisão por pares seja insustentável. Estou pensando que se nós, a comunidade, fornecermos orientação sobre o que significa fazer uma revisão por pares de certos tipos de conteúdo, então podemos estar no caminho certo para apoiar a revisão de um conjunto mais amplo de resultados. Precisamos abordar questões como, quem é responsável pelo conteúdo? Qual é a função do autor / orientador / empregador / editor / revisor? Isso é fundamental. Alguns desses "novos" conteúdos, como conjuntos de dados, podem exigir que um revisor verifique se os metadados são suficientemente descritivos e o depósito / acesso / preservação de longo prazo de dados é contabilizado de acordo com o plano de gerenciamento de dados. E embora eu goste de suas sugestões para encontrar e filtrar resultados de pesquisa, nada disso é relevante se o conjunto de dados (por exemplo) estiver em um datastick na gaveta de alguém. Um revisor par pode ser um componente crítico para garantir que os conjuntos de dados sejam preservados e a via de acesso descrita de maneira persistente para que seja citada. O mesmo se aplica a outros tipos de saídas.
SD: Existem muitos editores e organizações por aí que estão repensando o que a revisão por pares realmente deve realizar e criando novos serviços para apoiar isso - às vezes até demais do ponto de vista do acadêmico que pode se sentir oprimido por novas definições e escolhas. Também acho que é importante durante esta semana de avaliação por pares demonstrar como as inovações neste campo são realmente construídas para apoiar os revisores e o trabalho fantástico que estão fazendo. Portanto, espero que esta semana vejamos o reconhecimento dos novos modelos de Peer Review que existem hoje, sendo demonstrados por pequenas organizações start-up, como ScienceOpen e The Winnower e outras como F1000Research e PeerJ. E as discussões sobre a Peer Review já foram além de conversas interessantes entre acadêmicos para envolver desenvolvedores de software e editores que trabalham em entidades principalmente comerciais que são boas em tornar a inovação uma realidade.
No entanto, a questão em aberto permanece “a comunidade científica pode abraçar essas novas oportunidades porque onde um pesquisador publica ainda está atrelado ao impacto dos próprios resultados da pesquisa em termos de progressão na carreira?”. Romper o controle do Fator de Impacto não é tarefa fácil. Mas qualquer novo sistema terá que atender aos critérios de confiança e transparência.
LH: Não acho que o problema seja o fator de impacto. Acho que o objetivo desta semana é abraçar a Peer Review em toda a sua diversidade e trabalhar para compreender sua função central no discurso acadêmico. Para o ponto de Chris acima, a revisão por pares é parte de uma jornada. Diferentes disciplinas, diferentes tópicos se beneficiarão de diferentes sabores, todos eles bons. Vamos nos concentrar no processo em si, e não tanto no contêiner (por exemplo, diário / plataforma de serviço).
EJ: E também não podemos esquecer que o público precisa saber sobre revisão por pares e, portanto, cientistas e editores devem falar sobre isso. A semana de revisão por pares é uma grande oportunidade para os pesquisadores pararem e pensarem sobre o papel mais amplo que a revisão por pares desempenha na sociedade na manutenção da qualidade na ciência e compartilhar isso mais amplamente. Espero especialmente ouvir de pesquisadores em início de carreira por que a revisão por pares é importante para eles e dar maior reconhecimento a esse papel vital e voluntário que os pesquisadores desempenham. Também dará aos pesquisadores a chance de ouvir sobre os recursos fantásticos, workshops e oportunidades de treinamento disponíveis na revisão por pares.