Pour célébrer la Semaine de l'examen par les pairs, des représentants de ORCID, ScienceOpen, Sense About Science et Wiley se sont réunis (virtuellement) pour discuter de l'importance de l'examen par les pairs - pour eux et pour leurs organisations - et de ce qu'ils espèrent réaliser cette semaine.
Un grand merci aux participants Stephanie Dawson (PDG, ScienceOpen), Chris Graf (New Business Director, Professional Innovations for Associations and Societies, Wiley), Peter Gregory (Editor-in-Chief Advanced Materials, VP and Publishing Director, Wiley), Laure Haak (Directeur exécutif, ORCID), Emily Jesper (directrice adjointe, Sense about Science)
(de gauche à droite : Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stéphanie Dawson (SD): Lorsque j'ai commencé en tant que responsable de revue chez les éditions De Gruyter, je recevais trois exemplaires de chaque manuscrit, que je mettais dans des enveloppes et que je les envoyais au Japon ou en Argentine par la poste, en espérant que le pair choisi aurait le temps de les réviser. Beaucoup de choses ont changé depuis et beaucoup pas. Certains relecteurs ont fait un travail extrêmement consciencieux en aidant les auteurs à améliorer leurs articles, d'autres ont envoyé un rejet en trois lignes. J'ai vraiment vu de visu à quel point le processus pouvait être hétérogène et j'aurais aimé pouvoir remercier personnellement chaque évaluateur qui s'est efforcé d'aider vraiment ses collègues.
Avec le réseau de recherche et de publication ScienceOpen, l'un de nos rôles distincts, outre celui d'éditeur et d'agrégateur de contenu Gold Open Access (OA), est celui de réformateur d'examen par les pairs. Notre objectif est d'accroître la confiance dans le processus d'examen par les pairs en le rendant entièrement transparent. Ensuite, tout le monde peut voir (et même remercier) ces relecteurs qui font un travail exceptionnel pour améliorer la qualité de la communication scientifique.
Nous avons déployé un nouveau flux de travail pour démontrer l'efficacité d'une approche différente de l'examen par les pairs et son adéquation à l'avenir numérique de la communication savante qui, selon nous, devra accélérer et impliquer la publication de beaucoup plus d'objets numériques que l'article unique actuel. unité.
Chris Graf (CG) : En parlant de nouveaux flux de travail, je m'intéresse personnellement à la façon dont la combinaison de l'examen par les pairs avant et après publication créera un meilleur système.
L'examen par les pairs avant publication valide et organise la recherche, et dans l'ensemble, il fait un excellent travail. Mais – soyons honnêtes – se trompe parfois de façon spectaculaire. Et c'est là qu'intervient l'examen par les pairs après publication.
L'examen par les pairs post-publication peut aider à contextualiser, à organiser et – ce qui est passionnant pour moi – peut également donner un point d'entrée plus accessible pour les lecteurs (par exemple, les commentaires dans PubPeer, PubMed Commons, les métriques et plus encore dans Kudos, fournissent un guide pour les lecteurs et une surface d'aide des articles). Et - oui - l'examen par les pairs post-publication élimine la pomme pourrie occasionnelle. Ce qui est important.
Enfin, nous devons nous arrêter et réfléchir - et avoir une discussion publique - sur la question de savoir si nous devrions considérer un article évalué par des pairs comme absolu, définitif, final et 100% correct simplement parce qu'il est évalué par des pairs. Peut-être serait-il plus réaliste de considérer un article évalué par des pairs comme une étape d'un parcours de recherche (assez tortueux), au cours duquel nous pouvons nous attendre à faire des faux pas, à faire fausse route, à trébucher et à prendre de nouvelles directions avant d'atteindre notre destination finale : La réponse. De nombreuses étapes composent ce parcours, et de nombreux éléments de recherche constituent les preuves que nous utilisons pour éclairer la pratique et les politiques.
Laure Haak (gauche) : Je suis tout à fait d'accord avec votre dernier point mais, en termes de validation, est-ce vraiment ce que fait l'examen par les pairs ? Est-ce censé être le filtre qui dit que cet article a utilisé la bonne méthodologie et les bonnes statistiques (dans le cas d'un article scientifique) ou recherchons-nous vraiment un évaluateur par les pairs pour évaluer le flux logique de l'article ? En fin de compte, à qui revient la responsabilité si le papier est jugé « frauduleux » ? Pouvons-nous vraiment nous attendre/voulons-nous que ce poids soit sur l'examinateur ?
Emily Jesper (EJ) : Et au point de Chris sur le rôle de l'examen par les pairs dans l'information des pratiques et des politiques, bien sûr l'examen par les pairs n'est pas seulement quelque chose d'important pour les chercheurs scientifiques. Parce qu'il indique que la recherche a été examinée par des experts indépendants dans le domaine, l'examen par les pairs est une considération importante pour les décideurs politiques, les journalistes et le public lorsqu'ils évaluent les allégations de recherche et les débats sur la science. Comprendre le statut des allégations de recherche est stimulant. Cela nous aide à évaluer les allégations et à utiliser les preuves pour prendre des décisions. Depuis la création de Sense About Science en 2002, nous travaillons à vulgariser plus largement la compréhension de l'évaluation par les pairs. Notre guide public sur l'évaluation par les pairs Je ne sais pas quoi croire encourage les gens à se demander « Est-ce que c'est évalué par les pairs ? » lors de l'évaluation des affirmations concernant la science.
Pierre Grégoire (PSG) : Bien que vous ayez raison de dire que l'évaluation par les pairs a une signification plus large, elle compte pour Wiley principalement parce qu'elle compte pour la communauté universitaire que nous servons. En plus de recueillir l'opinion et d'améliorer les contributions, l'examen par les pairs fournit également, notamment dans les sciences et la médecine, une soupape de sécurité, empêchant la diffusion d'articles erronés, voire dangereux.
LH: Oui, l'examen par les pairs est une composante essentielle de la pratique universitaire. Il s'agit d'un ensemble établi de méthodes pour recueillir des commentaires sur des travaux savants (articles, livres, subventions, programmes, etc.) de pairs - des experts dans le domaine - dans le but final d'améliorer le travail. ORCID s'intéresse à l'évaluation par les pairs parce que les gens sont impliqués, à la fois les créateurs d'œuvres et les évaluateurs. Nous travaillons avec la communauté pour développer des méthodes numériques pour reconnaître les contributions des évaluateurs en citant les activités d'évaluation par les pairs. Grâce à cela, nous espérons encourager les universitaires à participer en tant qu'examinateurs, et également soutenir d'autres personnes qui travaillent sur des questions de confiance dans le processus d'examen.
DAKOTA DU SUD: J'aime l'idée de faire ORCID l'endroit où les chercheurs peuvent consigner leurs activités de révision. ScienceOpen essaie de résoudre ce problème avec des critiques ouvertes qui ont un CrossRef DOI enregistré. Publons fait également du bon travail dans ce domaine et soutient les relecteurs dans les revues à comité de lecture à l'aveugle. Dans les cas d'évaluation à l'aveugle, ils vérifient auprès des éditeurs qu'un évaluateur a bien fait le travail qu'ils prétendent - pour le moment, il serait facile pour un chercheur d'ajouter « révision pour Nature et Cell » à son CV car il n'y a aucun moyen de vérifier ceci dans notre système actuel d'examen à l'aveugle. Encore une fois, la confiance et la transparence sont essentielles.
PSG: J'espère que cette semaine d'évaluation par les pairs contribuera à intensifier la discussion sur l'évaluation par les pairs et à commencer à sensibiliser les participants (éditeurs, auteurs, rédacteurs, arbitres, bailleurs de fonds, etc.) aux différences dans la manière dont l'évaluation par les pairs est appliquée et utile dans différentes communautés. Certains domaines recueillent des opinions, d'autres sont davantage basés sur des faits ; certains bénéficient de la diffusion préimprimée (avant l'examen par les pairs et la publication, je veux dire) certains en sont endommagés ; pour certains, l'examen post-publication est novateur, pour certains, il est dangereux. Cela m'amène à la conclusion que ceux qui travaillent à améliorer/changer l'examen par les pairs devraient soigneusement considérer qu'une taille unique ne convient pas à tous.
DAKOTA DU SUD: Je conviens qu'il n'y aura pas de solution « taille unique », mais différentes communautés peuvent également apprendre les unes des autres, d'autant plus qu'une augmentation de la recherche interdisciplinaire les rapproche. Un bon exemple est le serveur de préimpression pour les sciences de la vie BioRxiv, qui s'appuie sur l'expérience positive de préimpression de la communauté des physiciens avec arXiv. Dans le nouveau domaine de la bioinformatique, les informaticiens ont simplement mis leurs prépublications sur arXiv en fait, et le chercheur venant davantage des sciences de la vie a demandé « qu'est-ce que c'est ? » Donc quelque chose de vraiment intéressant me permet de grandir juste à ces points de friction. De plus, la nouvelle tendance vers les mégajournaux tels que PLoS One, SpringerOpen, Scientific Reports, nécessite de repenser l'examen par les pairs pour s'adapter à un large éventail de communautés et toutes ces revues en sont venues à demander aux examinateurs de simplement examiner la solidité scientifique des résultats. Cela peut donc nous donner des indices sur ce que le dénominateur commun de l'examen par les pairs peut faire avancer.
LH: L'idée d'un dénominateur commun est vraiment la clé et c'est exactement le genre de discussion que j'espère que la Semaine de l'évaluation par les pairs générera - stimuler et concentrer la conversation en cours sur l'évaluation par les pairs et, ce faisant, mettre en avant ce qui est fait dans la pratique pour soutenir les améliorations .
DAKOTA DU SUD: Du point de vue de ScienceOpen, cette semaine d'examen par les pairs, nous voulons poser une question simple. À mesure que le nombre de résultats de recherche augmente et se diversifie (ensembles de données, résultats négatifs, rapports de cas, prépublications, affiches…), la communauté des chercheurs pourra-t-elle évaluer tous ces objets avant publication ? Nous pensons que non. Il n'y a pas assez de temps dans la journée, d'argent pour le payer ou même d'appétit pour le faire maintenant. Ces sorties seront-elles néanmoins utiles ? Absolument, si nous avons un moyen puissant de les trouver et de les filtrer en fonction de paramètres que les lecteurs trouvent utiles et que les auteurs trouvent gratifiants. Par example:
- Que pensent mes pairs de ces informations ?
- Y a-t-il des mises à jour ?
- Quel impact cela a-t-il eu dans le monde et qui l'a remarqué ?
- Quel travail mérite d'être souligné dans un domaine spécifique ?
- Combien de fois a-t-il été cité et où ?
- Si j'ai pris le temps de l'examiner, ma contribution peut-elle être trouvée et citée ?
- Ces efforts amélioreront-ils mes perspectives de carrière?
- Combien de fois a-t-il été cité et où ?
Aucune de ces questions valables n'est impactée par une évolution s'éloignant de l'examen anonyme par les pairs en aveugle ou en double aveugle, mis à part la rapidité avec laquelle nous pouvons y répondre. Des processus transparents et des outils Web simples peuvent filtrer plus rapidement, mieux et moins cher que les revues et l'examen par les pairs avant publication ne le pourraient jamais.
C'est pourquoi, chez ScienceOpen, nous avons développé des systèmes d'évaluation par les pairs post-publication ; Gestion des versions ; Attribution du DOI ; Métriques d'articles ; Collections ; Open Citation Information et plus encore – pour montrer une manière différente (et nous argumenterions mieux) d'aller de l'avant.
LH: Je ne suis pas sûr d'être d'accord pour dire que l'examen par les pairs n'est pas viable. Je pense que si nous, la communauté, donnons des conseils sur ce que signifie l'examen par les pairs de certains types de contenu, alors nous pourrions être sur la bonne voie pour soutenir l'examen d'un ensemble plus large de résultats. Nous devons répondre à des questions telles que : qui est responsable du contenu ? Quel est le rôle de l'auteur/conseiller/employeur/éditeur/réviseur ? C'est fondamental. Certains de ces « nouveaux » contenus, tels que les ensembles de données, peuvent nécessiter qu'un examinateur vérifie si les métadonnées sont suffisamment descriptives et si le dépôt/l'accès/la conservation à long terme des données est pris en compte conformément au plan de gestion des données. Et bien que j'aime vos suggestions pour trouver et filtrer les résultats de la recherche, rien de tout cela n'est pertinent si l'ensemble de données (par exemple) se trouve sur une clé de données dans le tiroir de quelqu'un. Un évaluateur par les pairs peut être un élément essentiel pour s'assurer que les ensembles de données sont préservés et que le chemin d'accès est décrit de manière persistante afin qu'il soit citable. Il en va de même pour les autres types de sorties.
DAKOTA DU SUD: Il y a beaucoup d'éditeurs et d'organisations qui repensent ce que l'évaluation par les pairs devrait vraiment accomplir et créent de nouveaux services pour soutenir cela - parfois même trop du point de vue du chercheur qui peut se sentir dépassé par de nouvelles définitions et de nouveaux choix. Je pense également qu'il est important au cours de cette semaine d'évaluation par les pairs de démontrer comment les innovations dans ce domaine sont vraiment conçues pour soutenir les évaluateurs et le travail fantastique qu'ils accomplissent. J'espère donc que cette semaine, nous verrons la reconnaissance des nouveaux modèles d'évaluation par les pairs qui existent aujourd'hui, démontrés par de petites organisations en démarrage, telles que ScienceOpen et The Winnower et d'autres telles que F1000Research et PeerJ. Et que les discussions sur l'examen par les pairs sont déjà allées au-delà des conversations intéressantes entre universitaires pour impliquer des développeurs et des éditeurs de logiciels travaillant dans des entités principalement commerciales qui sont douées pour faire de l'innovation une réalité.
Cependant, la question ouverte demeure « la communauté scientifique peut-elle saisir ces nouvelles opportunités parce que le lieu où un chercheur publie est toujours couplé à l'impact des résultats de la recherche eux-mêmes en termes de progression de carrière ? ». Briser l'emprise de l'Impact Factor n'est pas une mince affaire. Mais tout nouveau système devra répondre aux critères de confiance et de transparence.
LH: Je ne pense pas que le problème soit le facteur d'impact. Je pense que le but de cette semaine est d'embrasser l'évaluation par les pairs dans toute sa diversité, et de travailler pour comprendre sa fonction principale dans le discours scientifique. Au point de Chris ci-dessus, l'examen par les pairs fait partie d'un voyage. Différentes disciplines, différents sujets bénéficieront de différentes saveurs, toutes bonnes. Concentrons-nous sur le processus lui-même, et pas tellement sur le conteneur (par exemple, la plate-forme de journal/service).
EJ: Et n'oublions pas non plus que le public a besoin de connaître l'évaluation par les pairs et que les scientifiques et les éditeurs devraient donc en parler. La Semaine de l'examen par les pairs est une excellente occasion pour les chercheurs de s'arrêter et de réfléchir au rôle plus large que l'examen par les pairs joue dans la société dans le maintien de la qualité de la science et de le partager plus largement. J'espère surtout que nous entendrons des chercheurs en début de carrière expliquer pourquoi l'examen par les pairs est important pour eux et donnerons une plus grande reconnaissance à ce rôle vital et bénévole que jouent les chercheurs. Cela donnera également aux chercheurs l'occasion d'entendre parler des ressources fantastiques, des ateliers et des possibilités de formation disponibles sur l'évaluation par les pairs.