L'examen par les pairs est une partie importante du discours scientifique et améliore souvent de manière significative la qualité et l'exactitude des publications. Cependant, il est généralement caché : dans la plupart des revues, le processus de révision se fait en coulisses, avec des réviseurs anonymes, et seul le résultat final - l'article final - est disponible pour les lecteurs. Que se passe-t-il lorsque ce processus est ouvert ?
Chez F1000Research, les articles sont publiés avant l'examen par les pairs une fois qu'ils ont passé un contrôle de qualité interne, axé sur la lisibilité, les questions éthiques, la disponibilité des données et d'autres critères de base. L'examen par les pairs sur invitation commence ensuite et est complètement ouvert, afin que les lecteurs puissent suivre le processus et la discussion autour de l'article : les rapports d'examen par les pairs sont publiés à côté de l'article dès qu'ils arrivent, avec le nom du relecteur. Les auteurs peuvent télécharger une ou plusieurs versions révisées de l'article et répondre directement aux réviseurs, qui à leur tour peuvent fournir plus de commentaires sur les révisions.
Vers plus de transparence
Le concept d'examen ouvert par les pairs n'est pas nouveau et peut prendre de nombreuses formes différentes : le BMJ a lancé l'examen par les pairs non anonyme dès 1999. Les revues médicales de la série BMC Rapidement, il a fait un pas de plus en révélant les noms des évaluateurs à leurs auteurs lors de l'évaluation par les pairs et en publiant les noms des arbitres et leurs rapports sur les articles qui ont fini par être publiés. De nombreux autres éditeurs ont depuis répondu aux demandes de plus de transparence et ouvert l'examen par les pairs, rendant tantôt obligatoire, tantôt facultatif, la désignation des arbitres.
On craint souvent que l'examen ouvert par les pairs ne conduise les examinateurs à être moins critiques que les examinateurs anonymes, bien que ce ne soit pas ce Essai contrôlé randomisé par le BMJ a montré : les évaluateurs qui savaient que leurs noms seraient donnés aux auteurs n'étaient pas plus susceptibles de recommander la publication que les évaluateurs qui savaient qu'ils pouvaient faire leur recommandation de manière anonyme. Être invité à signer leur rapport de référence, surtout si la critique est publique sur la page de l'article, peut en fait encourager les critiques à être constructif et plus objectif, et les évaluateurs peuvent en fait accorder plus d'attention à la qualité de leur avis dans un processus ouvert d'examen par les pairs.
Nous avons certainement vu des arbitres très critiques, mais constructifs et réfléchis sur F1000Research. En fait, certaines critiques finissent par être plus longues que l'article ! Lorsque Michael McCarthy a pensé avoir vu une erreur cruciale dans un article qu'il a examiné, il a voulu s'assurer que son critique C'était clair; il a inclus une analyse complète – y compris du code logiciel – pour faire passer son message. Étant donné que tous les rapports des arbitres dans F1000Research reçoivent un DOI unique, l'analyse de McCarthy peut désormais être citée à part entière.
Crédit complet pour l'examen par les pairs
Pour les examinateurs, l'examen ouvert signifie qu'ils peuvent s'attribuer le mérite de tout le travail acharné qu'ils ont consacré à l'examen par les pairs et de la façon dont ils ont contribué à améliorer le document. Lecture critique d'articles et rédaction un rapport constructif prend beaucoup de temps et d'efforts, mais avec l'examen par les pairs « fermé » traditionnel, seuls les auteurs et les éditeurs seront au courant de la contribution des arbitres. De nombreux chercheurs ont commencé à répertorier leurs activités en tant qu'arbitres sur Publications, où ils peuvent obtenir l'approbation de leurs pairs pour leurs contributions à l'examen par les pairs.
Une reconnaissance formelle et standardisée pour les activités d'évaluation par les pairs viendra également d'un développement important cette semaine : F1000Research et d'autres partenaires de ORCID et par Consortiums pour l'avancement des normes en matière d'information sur l'administration de la recherche (CASRAI) commencent à mettre en œuvre un 'norme de citation à comité de lecture' pour la collecte, le stockage et l'échange d'informations d'examen par les pairs. Les chercheurs peuvent désormais référencer les activités de revue (pour les revues, les bailleurs de fonds, les conférences ou les institutions) sur leur ORCID record. Dans le cas de F1000Research, les arbitres pourront publier une citation de leur rapport en un seul clic via un lien que nous fournirons dans un e-mail.
Examen par les pairs après publication
En effectuant l'examen formel par des pairs (par des experts invités) ouvertement après la publication, la communauté scientifique au sens large peut grandement bénéficier de la discussion entre les arbitres et les auteurs. Traditionnellement, les articles sont publiés sans les commentaires de la revue et présentés comme le dernier mot sur le sujet. Les auteurs se plaignent souvent que pour faire accepter l'article, ils doivent céder aux demandes et à l'interprétation des arbitres avec lesquels ils ne sont pas nécessairement entièrement d'accord. Avec une évaluation ouverte par les pairs post-publication, à la manière de F1000Research, le débat entre les auteurs et les experts invités fait partie intégrante de la publication. En cas de controverse, les lecteurs peuvent décider eux-mêmes avec quelle interprétation (le cas échéant !) ils sont d'accord - sur la base des arguments présentés et peut-être en tenant compte de l'expertise des auteurs et des arbitres. Par exemple, dans un article de F1000Research sur « l'automédication » des bourdons, éminente entomologiste Marla Spivak ajoute le sien avis sur l'interprétation des auteurs. Avec un examen par les pairs fermé, seuls les auteurs et l'éditeur auraient vu ses commentaires, alors qu'ici, d'éventuelles explications alternatives ou limitations de l'étude peuvent être vues (et citées) par les lecteurs également.
Les problèmes avec les études publiées (et généralement évaluées par des pairs) sont maintenant discutés sur les réseaux sociaux, mais cette forme d'évaluation par les pairs « de la foule » n'est souvent pas liée à l'étude elle-même, laissant les lecteurs de l'article souvent inconscients pendant de longues périodes de toute controverse . Un groupe de bioinformaticiens a récemment fait sensation lorsqu'ils ont fait part de leurs inquiétudes sur divers canaux de médias sociaux au sujet d'un article PNAS spécifique issu du projet de souris ENCODE. Afin d'intégrer la discussion dans la littérature formelle (indexée sur PubMed), ils ont publié un réanalyse dans F1000Research. L'un des rapports des arbitres a été lu par plus d'un millier de personnes, le tout dans le contexte de l'article (et de l'article original d'ENCODE qui faisait l'objet d'un examen minutieux). La demande d'explications supplémentaires de l'arbitre a encouragé une discussion animée avec les lecteurs, les auteurs et les arbitres commentant davantage l'article. Ces commentaires supplémentaires ne font pas partie du processus officiel d'examen par les pairs (invité), qui détermine en fin de compte si un article est répertorié par PubMed et d'autres services d'indexation, mais ils aident à fournir une image plus complète de la recherche.
Il est important de noter que l'examen par les pairs post-publication permet la publication en versions et permet aux auteurs de répondre (avec une nouvelle version ou en commentant) non seulement aux arbitres mais aussi aux suggestions soulevées par les lecteurs qui ont laissé des commentaires sur l'article lui-même ou si des discussions surgissent ailleurs.
En fin de compte, l'examen par les pairs post-publication de F1000Research signifie que les articles deviennent des documents « vivants » du processus de recherche en cours et du débat scientifique qui les entoure. En rendant publics les rapports des évaluateurs et en les intégrant dans l'article proprement dit (ils sont également inclus dans le PDF et sur PubMed Central, par exemple), l'évaluation par les pairs ajoute une valeur qui peut être plus largement appréciée tout en donnant aux évaluateurs tout le crédit qu'ils méritent pour leur contribution.