Note : cet article est également publié par les autres membres du comité de pilotage de la Peer Review Week 2016
Pour aider à célébrer la Semaine de l'évaluation par les pairs 2016, nous avons demandé aux plus de 20 organisations du groupe de pilotage de nous dire comment elles reconnaissent l'évaluation et ce qu'elles espèrent faire de plus à l'avenir. Leurs réponses montrent une compréhension claire de l'importance de l'examen par les pairs et un engagement ferme à soutenir une plus grande reconnaissance pour l'examen à l'avenir.
Alison O'Connell, Systèmes Bélier
Aries Systems fait progresser la reconnaissance des critiques par les pairs en donnant aux revues utilisant Editorial Manager® la flexibilité de collecter les données dont elles ont besoin dans le flux de travail, permettant ainsi de participer aux initiatives de reconnaissance des critiques en aval. L'intégration de cette configurabilité dans EM donne aux revues le contrôle d'expérimenter les services de reconnaissance émergents. Les administrateurs système du journal peuvent configurer le formulaire de réviseur pour solliciter l'autorisation de partager les données de révision, et peuvent exporter les données d'examen appropriées dans les formats requis par les services de reconnaissance, tels que Publons.
Pour l'avenir, nous nous tenons au courant de l'évolution des besoins grâce à notre engagement continu avec la communauté via des réunions de groupes d'utilisateurs, la participation à des conférences de l'industrie et d'autres initiatives, de sorte que lorsque de nouveaux outils et services apparaissent, la fonctionnalité est déjà en place pour permettre aux éditeurs d'explorer.
Peter Berkery, Association des presses universitaires américaines (AAUP)
L'examen par les pairs est profondément ancré dans le tissu de l'AAUP. Nos directives d'adhésion indiquent que les membres réguliers doivent répondre aux critères éditoriaux d'avoir à la fois un conseil d'administration qui certifie la qualité de ses publications savantes, et un processus d'examen par les pairs qui répond à une norme commune.
Le comité des admissions et des normes de l'Association maintient les candidats à une norme rigoureuse, en examinant les processus éditoriaux entrepris dans les publications récentes pour assurer leur cohérence avec ces normes. L'adhésion à l'AAUP reconnaît l'importance de l'examen par les pairs pour le dossier scientifique et reconnaît les éditeurs savants à but non lucratif qui s'engagent dans ce travail, ainsi que les éditeurs et les réviseurs qui respectent nos normes.
Nous avons récemment défini la norme commune de qualité de l'examen par les pairs dans les publications monographiques en Meilleures pratiques pour l'examen par les pairs, qui est disponible sous une licence CC-BY-NC-SA. C'est le produit (révisé par des pairs !) d'un effort de consensus de deux ans par le comité éditorial des acquisitions de l'AAUP.
Nous nous attendons à ce que la pratique de l'examen par les pairs puisse changer à l'avenir, à mesure que les normes disciplinaires changent et que de nouvelles expériences dans le format et la prestation des évaluations par les pairs savants et universitaires trouvent des modèles réussis. La raison de l'examen par les pairs - pour aider à développer et valider une bourse de haute qualité - restera, tout comme son rôle central au sein de l'AAUP et de l'adhésion à l'AAUP.
Elizabeth Moylan BioMed Central (BMC)
Une enquête de nos pairs évaluateurs ont trouvé qu'ils choisissaient d'entreprendre une évaluation par les pairs en fonction de leur expertise et non en fonction des récompenses attendues. Cependant, conformément au thème de la Semaine de l'évaluation par les pairs 2016, plus d'un tiers des répondants ont estimé qu'une plus grande reconnaissance de leur travail était motivante. Des reconnaissances publiques et des certificats ont été mentionnés.
Chez BMC, nous reconnaissons les avis sous forme de citations remerciements. Nos revues à comité de lecture ouvertes offrent également une reconnaissance aux pairs évaluateurs grâce à la publication de leurs rapports nommés à côté de l'article. Les évaluateurs de la série de revues BMC peuvent également obtenir un réduction sur les frais de traitement des articles lors de la soumission à la série BMC.
Nous avons récemment annoncé un essai partenariat avec Publons, afin que les évaluateurs puissent présenter leur activité d'évaluation par les pairs. Nous fournissons également un soutien aux pairs évaluateurs sous la forme de « comment faire » collections d'articles par des experts dans divers types de méthodologie de recherche et des conseils pour débutants.
À l'avenir, nous voulons explorer les façons dont les évaluateurs en général (indépendamment du modèle d'évaluation par les pairs) peuvent être reconnus publiquement. Nous examinerons également les commentaires en texte libre reçus dans notre enquête initiale et partagerons - ainsi que les réponses à - ce que nous apprenons.
Bahar Mehmani, Elsevier
Elsevier a lancé son Plateforme de reconnaissance des évaluateurs il y a plus de deux ans, offrant aux examinateurs un page de profil d'examen personnel dans laquelle ils peuvent consulter l'historique de leurs revues Elsevier et, en quelques étapes simples, créer une page publique de réviseur répertoriant toutes leurs activités de révision par les pairs, y compris celles des titres d'autres éditeurs. Les statuts de réviseur sont attribués en fonction du nombre de révisions qu'ils ont effectuées pour une revue spécifique. Depuis le lancement de la plateforme, plus de 450,000 XNUMX profils individuels d'évaluateurs avec un « statut » ont été créés. Les évaluateurs reçoivent le lien crypté vers leur profil personnel chaque fois qu'ils complètent l'évaluation d'un titre. Ils peuvent télécharger une variété de certificats en fonction du nombre de critiques qu'ils soumettent à un journal et profiter d'autres avantages tels que des réductions sur la librairie Elsevier et Services d'auteur de boutique en ligne. De plus, nos éditeurs de revues peuvent sélectionner des évaluateurs en fonction de la qualité de leurs critiques, en les nommant pour un « certificat d'excellence », qui complète les certificats en fonction de la fréquence de révision. Les éditeurs peuvent également publier leur liste de réviseurs nommés sur la page d'accueil de leur revue. Pour Elsevier, ce n'est que le début d'un chemin en constante expansion vers la reconnaissance des évaluateurs.
Ruth François, F1000
Chez F1000Research, nous effectuons une évaluation par les pairs après publication, ce qui nous permet de donner du crédit aux évaluateurs de plusieurs manières. Les noms et affiliations des réviseurs sont publiés avec leur rapport complet à côté de l'article, ce qui signifie que leur contribution à l'article est claire et que les rapports deviennent une partie intégrante de l'article et de la discussion scientifique qui l'entoure. Parce que l'ensemble du processus est ouvert et transparent, les évaluateurs peuvent voir comment l'auteur répond à leurs commentaires et comment ils révisent leur article. De cette façon, les arbitres sont reconnus comme faisant partie de l'ensemble du processus de publication. Nous donnons un DOI au rapport afin qu'il puisse être cité à part entière, et les arbitres peuvent également ajouter leur avis à leur ORCID dossier pour donner de la visibilité à leur démarche professionnelle.
À l'avenir, nous espérons voir les critiques reconnues comme une mesure qualitative de l'article lui-même et utilisées par les lecteurs, les bailleurs de fonds et les instituts pour évaluer la qualité de la recherche. Nous aimerions que beaucoup d'autres adoptent un examen par les pairs plus ouvert et des examens utilisés de manière évaluative.
Kristen Overstreet, Société internationale des rédacteurs en chef et techniques (ISMTE)
ISMTE est tout au sujet de l'examen par les pairs. Les conversations lors des réunions et sur le forum de discussion des membres, ainsi que plusieurs articles d'EON, indiquent une prise de conscience de l'importance des contributions des évaluateurs. Mais l'ISMTE a-t-il accordé suffisamment d'attention aux méthodes de reconnaissance des évaluateurs ? Malheureusement, la réponse est non; cependant, je vois déjà des changements apportés par le thème de la Semaine d'examen par les pairs de cette année.
Meghan McDevitt, rédactrice en chef d'EON, a commandé un article pour le numéro d'octobre sur le thème de la reconnaissance des évaluateurs, et le comité de l'éducation élabore une ressource éducative sur la récompense des évaluateurs et des membres du comité de rédaction qui sera publiée sur le Site Internet de l'ISMT bientôt. Les publications sur les réseaux sociaux et les conversations sur les forums de discussion cette semaine permettront d'identifier plus d'idées sur la façon dont les rédactions de revues peuvent reconnaître et récompenser les contributions cruciales de nos évaluateurs. Nous espérons également savoir comment les évaluateurs dans d'autres domaines, tels que l'examen des subventions, la promotion et la permanence, etc., sont reconnus. Cela pourrait nous aider à identifier de nouvelles méthodes que nous n'avons pas encore envisagées.
La Semaine de l'évaluation par les pairs 2016 a attiré notre attention sur la question de la reconnaissance des évaluateurs de tous types, et j'attends avec impatience les nouvelles ressources que l'ISMTE sera en mesure d'offrir en conséquence.
Annette Flanagan, JAMA et le réseau JAMA
JAMA et The JAMA Network Journals ont fourni des crédits de formation médicale continue aux pairs évaluateurs pendant de nombreuses années. En outre, les revues publient des éditoriaux annuels reconnaissant les contributions des pairs évaluateurs, avec un lien vers les listes des noms des pairs réviseurs qui ont fourni des évaluations par les pairs pour la revue l'année précédente. Voir les exemples de JAMA ici et ici.
En tant qu'organisateur de la Congrès international sur l'examen par les pairs et la publication scientifique avec le BMJ et METRICS, nous sommes intéressés à voir de nouvelles recherches sur les incitations et les récompenses pour les pairs évaluateurs. Beaucoup ont lancé de nouveaux programmes et expérimentent de nouvelles façons d'inciter, de reconnaître et de créditer les évaluateurs et les évaluations par les pairs. Nous invitons les personnes intéressées à mener des recherches évaluant l'efficacité de ces programmes et modèles pour les pairs évaluateurs à soumettre des résumés pour le prochain Congrès d'évaluation par les pairs. Voir sujets de recherche suggérés. Les résumés sont attendus le 15 février 2017 et le Congrès d'examen par les pairs se tiendra du 10 au 12 septembre 2017 à Chicago.
Pandelis Perakakis, chercheur ouvert
Qu'est-ce que l'examen par les pairs ? Quel est son but? Comment pourrions-nous le reconcevoir à partir de zéro pour mieux servir cet objectif ? Du point de vue de ce qui est le mieux pour la science, l'examen par les pairs devrait être un mécanisme de validation. Une fois produit, un ouvrage scientifique devrait être exposé aux yeux de l'ensemble de la communauté scientifique qui déciderait collectivement s'il répond aux exigences scientifiques pour faire partie du savoir commun ou s'il a besoin d'être amélioré. Aucune évaluation de l'impact potentiel de l'article n'est pertinente pour le processus d'examen par les pairs. L'examen par les pairs doit être un débat ouvert pour générer un consensus sur la validité scientifique d'un travail donné. Dans ce cadre conceptuel, les évaluateurs sont reconnus parce qu'ils contribuent ouvertement à améliorer le travail de chacun. Les relecteurs agissent en tant que co-auteurs qui ont intérêt à augmenter la qualité scientifique d'un travail car s'ils réussissent, le travail et leurs noms apparaissant à côté gagneront en visibilité. Chercheur ouvert développe et promeut une infrastructure qui facilite un modèle d'examen par les pairs ouvert, organisé autour de référentiels institutionnels et d'archives ouvertes. Nos deux projets phares sont le Auto-journaux de science et PeerMod—un module d'examen par les pairs ouvert pour les référentiels en libre accès.
Alice Prairies, ORCID
ORCIDLa vision de l' est que tous ceux qui participent à la recherche, à l'érudition et à l'innovation soient identifiés de manière unique et connectés à leurs contributions et affiliations à travers les disciplines, les frontières et le temps. Notre fonctionnalité d'examen par les pairs, introduit l'année dernière, permet aux organisations de reconnaître tous les types d'activités d'évaluation par les pairs - des publications, des résumés de conférences, des subventions, des demandes de promotion et de titularisation, et plus encore. Il permet aux organisations de relier les informations d'examen à celles d'un chercheur. ORCID enregistrement (avec son autorisation), à partir duquel il peut également être partagé avec d'autres organisations si vous le souhaitez.
Plusieurs de nos membres éditeurs ont été les premiers à adopter cette fonctionnalité (American Geophysical Union, eJournal Press, F1000 et Publons), et nous encourageons désormais davantage de membres - de l'édition et au-delà - à la mettre en œuvre. Nous pensons que l'ajout d'informations validées sur les activités d'examen par les pairs aux ORCID Les dossiers contribueront à permettre une plus grande reconnaissance de ce travail important dans tous les secteurs.
Tom Culley, Publications
Un profil Publons reconnaît vos activités de révision et démontre votre engagement et vos contributions à une recherche solide dans votre domaine. Plus de 80,000 XNUMX chercheurs utilisent déjà notre service gratuit pour suivre, vérifier et présenter sans effort leurs contributions de révision et éditoriales, en temps réel, dans toutes les revues du monde. Publons propose :
- statistiques et informations uniques pour comparer votre comportement d'évaluation avec d'autres
- preuve vérifiée des contributions précédemment cachées à inclure dans les demandes de promotion et de financement
- des outils de découverte, de sélection et d'analyse de premier plan pour les examinateurs.
Plus de 1,000 XNUMX revues de Wiley, Sage, Springer Nature, Cambridge University Press, The Royal Society et beaucoup plus sera pleinement intégré en 2016.
Cette année, nous lançons le Prix Sentinelles de la Science – les « Prix Nobel » pour examen par les pairs – avec le soutien de poids lourds de l'industrie. Nous sommes ravis d'annoncer les premiers récipiendaires à la fin de la Semaine de l'examen par les pairs 2016.
Au cours des prochains mois, Publons se concentrera sur la facilitation de la formation et de la rétroaction aux évaluateurs, afin d'améliorer la qualité de l'évaluation par les pairs et de la recherche. Les utilisateurs de Publons contribuent également directement à la recherche et à l'analyse de l'examen par les pairs, ce qui n'était pas possible auparavant. Nos informations d'examen par les pairs uniques et inter-éditeurs seront utilisées pour évaluer les performances de l'examen par les pairs à l'échelle mondiale et son impact sur la recherche.
Phil Hurst, Société royale
La Royal Society reconnaît l'examen par les pairs de deux manières principales. Depuis son lancement il y a deux ans, notre revue 'objective peer review', Société Royale Open Science a fourni la possibilité de publier des informations d'examen par les pairs. Les deux tiers des auteurs publiés ont opté pour cela et de nombreux évaluateurs ont « signé » leurs rapports.
Depuis un an, nous avons intégré notre plus grand journal, Actes B, avec Publications. Cette intégration permet aux évaluateurs de choisir facilement d'inclure la reconnaissance de leur travail dans leur profil Publons. Un nombre substantiel d'examens ont été réclamés, la majorité par le biais de l'intégration. Un bonus supplémentaire est qu'ils peuvent facilement ajouter cette information à leur ORCID enregistrer via Publons. Les chercheurs indiquent que l'évaluation par les pairs n'est pas considérée comme un résultat de recherche important par leurs institutions à l'heure actuelle. Cependant, ils établissent leurs profils de travail d'examen par les pairs pour le moment où il sera reconnu.
À l'avenir, nous voulons plus de reconnaissance pour les évaluateurs. Nous avons l'intention d'étendre les opportunités offertes par l'examen ouvert par les pairs et notre intégration de Publons à davantage de nos titres et à davantage d'examinateurs. Il existe potentiellement de nombreuses autres manières de reconnaître l'évaluation par les pairs – nous tenons à les identifier et à les explorer. Nous pensons que la transparence est importante dans l'évaluation par les pairs et pensons que les évaluateurs devraient être reconnus pour ce résultat de recherche vital.
Tessa Picknett, directrice générale, STM , Éditions SAGE
L'évaluation par les pairs est la clé de voûte du processus de publication savante, s'appuyant fortement sur l'expertise des évaluateurs du monde entier. Pour reconnaître le rôle vital que jouent les évaluateurs par les pairs, SAGE a développé une gamme d'initiatives, notamment la récompense des évaluateurs par les pairs en permettant un accès gratuit et transparent à plus de 960 revues sur la plate-forme de revues SAGE pendant 60 jours après la soumission d'une évaluation. De plus, nous avons établi un partenariat avec Publications permettre davantage la reconnaissance des contributions des évaluateurs individuels et améliorer le processus d'évaluation par les pairs pour toutes les parties prenantes. Nous sommes également ravis de soutenir le lancement des prix inauguraux de reconnaissance par les pairs de Publons cette semaine.
L'examen par les pairs - comme tout dans l'édition - est en constante évolution, avec des développements de plus en plus innovants dans les systèmes de soumission en ligne et l'examen ouvert par les pairs. Cependant, le rôle fondamental de l'évaluation, de l'amélioration et de la sélection – par les examinateurs et les éditeurs – continue d'être largement reconnu comme une composante essentielle du système de communication savante. Alors que nous continuons à nous concentrer sur des mécanismes pour rendre cela aussi transparent, éthique et simple que possible, nous reconnaissons un besoin de soutien et d'orientation, en particulier pour les chercheurs en début de carrière, et nous menons des initiatives et collaborons avec d'autres pour fournir un soutien expert à travers le globe.
Stephanie Dawson, ScienceOuvrir
Ouvert et public, l'examen par les pairs après publication a été la pierre angulaire de ScienceOpen depuis nos débuts. Nous pensons que la pleine reconnaissance des efforts des pairs évaluateurs requiert de la transparence. Par conséquent, tout membre de ScienceOpen ayant le niveau d'expertise requis peut évaluer et examiner n'importe lequel des 25 millions d'articles avec leur nom et leur historique de recherche disponibles via ORCID. Les rapports d'examen par les pairs de ScienceOpen reçoivent un CrossRef DOI pour les rendre citables et traçables pour les altmetrics. Les chercheurs peuvent les ajouter à leur CV, ORCID enregistrement et site Web. Rendre les avis bien rédigés et perspicaces citables est une étape importante pour donner aux évaluateurs un réel crédit pour leur travail, et en rendant les avis ouverts, nous pouvons également empêcher la perte d'informations précieuses. Le contexte de l'évaluation d'un chercheur – son expérience, ses spécialités, ses publications – est important pour le lecteur dans l'évaluation d'une évaluation par les pairs et s'ajoute au contexte de la recherche elle-même. Alors que le volume de publications dans le monde continue de croître, de nouvelles stratégies seront nécessaires pour soutenir les chercheurs dans ce processus d'évaluation – à la fois avant et après la publication. En tant qu'agrégateur majeur d'informations, ScienceOpen continuera d'explorer des moyens d'ouvrir et de comprendre le contexte de la recherche universitaire, l'évaluation par les pairs de la recherche sous toutes ses formes restant au cœur de cette mission.
Amy Bourke-Waite, Springer Nature
Chez Springer Nature, nous cherchons constamment à améliorer nos systèmes d'évaluation par les pairs et à trouver de nouvelles et meilleures façons de reconnaître les évaluateurs pour leur travail acharné. Les méthodes de reconnaissance existantes comprennent des récompenses monétaires (monographies) et des abonnements gratuits ou des remises sur les frais de traitement des articles (articles). Mais la plupart des chercheurs veulent simplement que leur nom soit reconnu.
Soixante-dix revues BioMed Central offrent un examen ouvert par les pairs, encourageant la transparence et fournissant une ressource éducative précieuse pour les futurs examinateurs. Au cours de la dernière année, BioMed Central a publié plus de 40,000 24,000 rapports d'examen par les pairs ouverts, reconnaissant XNUMX XNUMX évaluateurs par les pairs.
Le rédacteur en chef de Nature, Philip Campbell, écrit et remercie tous ceux qui examinent trois articles ou plus pour le portefeuille Nature Research. En 2016, nous avons piloté des initiatives, notamment la publication facultative de rapports de pairs évaluateurs dans Nature Communications ; publication facultative des identités des pairs évaluateurs dans Nature ; transfert facultatif des rapports et des identités des pairs évaluateurs de Nature Communications vers d'autres revues Springer Nature sélectionnées.
Ce mois-ci, nous avons lancé une Publications pilote à travers 13 de nos revues, et nous annoncerons bientôt un autre pilote, expérimentant un nouveau type de reconnaissance. Enfin, à tous nos évaluateurs du monde entier : au cas où nous ne l'aurions pas dit récemment, merci de la part de l'équipe de Springer Nature.
Verity Warne, Wiley
Chez Wiley, nous reconnaissons le rôle essentiel que jouent les évaluateurs dans les communications savantes. Les chercheurs ont passé énormément de temps à réviser (au moins 22 millions d'heures rien que pour les 12 meilleurs éditeurs en 2013), et nous continuons à introduire de nouvelles façons de récompenser et de reconnaître leur contribution inestimable.
Les revues de notre programme montrent leur appréciation pour les évaluateurs en offrant des certificats, des remises sur les livres, des remises APC, des CME pour les évaluateurs et des listes de remerciements.
Cette semaine, nous sommes fiers d'annoncer que plus de 750 revues Wiley sont nouvellement intégrées à Publons, permettant aux réviseurs de suivre, vérifier et présenter chaque revue qu'ils entreprennent pour les revues participantes. Les évaluateurs peuvent ensuite utiliser leur évaluation par les pairs vérifiée et leurs dossiers éditoriaux dans les demandes de financement et de promotion.
Dans notre étude des motivations, de la formation et des besoins de reconnaissance des évaluateurs l'année dernière, nous avons constaté que les chercheurs croient fermement que l'évaluation est actuellement insuffisamment reconnue et devrait avoir plus de poids dans le processus d'évaluation de leurs institutions. Des travaux ont été entrepris dans ce domaine (la lettre ouverte 2012 de Sense About Science à HEFCE, et le lettre ouverte au Conseil australien de la recherche pour n'en nommer que quelques-uns), mais nous pensons que davantage pourrait être fait pour faciliter le débat sur cette question avec toutes les parties prenantes, y compris les bailleurs de fonds et les organismes d'évaluation de la recherche.