L'examen par les pairs est au cœur de nombreux flux de travail de recherche clés : publications, demandes de subvention, demandes de promotion et de titularisation, soumissions à des conférences, etc. Nous sommes ravis que ORCID membre Société royale Te Apārangi envisage d'utiliser ORCID reconnaître le service d'examen par les pairs pour Fonds Marsden examinateurs du panel. Apprenez-en plus sur leurs progrès dans cette interview avec Jason Gush, leur gestionnaire de programme pour Insights & Evaluation, et surveillez d'autres mises à jour dans les mois à venir.
Tout d'abord, pouvez-vous nous parler un peu de la Royal Society Te Apārangi et du Marsden Fund, et de votre intégration actuelle de ORCID via la Nouvelle-Zélande ORCID Centre?
La Royal Society Te Apārangi est une organisation non gouvernementale vieille de 150 ans habilitée en vertu d'une loi du Parlement et chargée de soutenir et d'encourager l'érudition dans les sciences et les sciences humaines, et d'encourager l'appréciation et la sensibilisation du public néo-zélandais. Dans le cadre de ces responsabilités, nous accueillons l'académie nationale néo-zélandaise, distribuons des médailles et des récompenses pour l'excellence de la recherche, administrons les titres de New Zealand Journal et agissons en tant qu'administrateur de fonds pour le gouvernement, ainsi que d'effectuer une gamme de promotions , des activités d'éducation et de conseils d'experts.
Le Marsden Fund est le plus important des fonds que nous administrons et existe depuis 24 ans. Il est maintenant quelque peu nouveau, étant à la fois entièrement destiné à la recherche initiée par les enquêteurs et couvrant toute la gamme de la recherche des sciences humaines aux sciences sociales, aux sciences de la vie, aux sciences physiques, aux mathématiques et aux sciences de l'information. Avec un cycle de financement annuel et des taux de réussite généralement d'environ 10 %, l'obtention d'une subvention Marsden est considérée comme ayant un certain prestige.
La Société a eu le plaisir d'être l'agence principale pour la Nouvelle-Zélande ORCID Consortium depuis le lancement du Consortium en 2016. Soutenu par notre gouvernement, le consortium est ORCIDest la plus diversifiée sur le plan organisationnel et a pour objectif de représenter tous les chercheurs financés par les fonds publics de la Nouvelle-Zélande. Le Consortium a également soutenu le développement de la Nouvelle-Zélande ORCID Hub pour permettre à nos divers membres d'interagir avec ORCID. Le Hub est une application Web avec une interface utilisateur simple qui permet aux organisations de lire et d'écrire sur ORCID dossiers avec la permission du détenteur du dossier. À l'heure actuelle, nous utilisons le Hub pour affirmer les affiliations de notre personnel, le financement des bénéficiaires de subventions, et nous venons de commencer à chercher comment nous pouvons représenter correctement l'examen par les pairs qui fait partie intégrante d'une grande partie de notre opération.
Quel type de travail technique la Société a-t-elle entrepris pour permettre la reconnaissance par les pairs dans le Hub ?
L'examen par les pairs représentait une simple extension des fonctionnalités du Hub. La principale complication a été la création d'outils pour gérer le groupe id référencé dans un ORCID examen par les pairs. Nous sommes très chanceux d'avoir une équipe de développement compétente et dévouée au Université d'Auckland. Ensemble, Radomirs Cirskis et Roshan Pawar l'ont mis en place avec la v4 du Hub qui a été lancée en mai.
Nous sommes ravis que la Royal Society Te Apārangi soit le premier ORCID membre de reconnaître les contributions d'examen pour le financement. Quel genre d'avis seront reconnus ?
Le Fonds reçoit environ 1,200 10 manifestations d'intérêt par an dans un large éventail de disciplines. Pour rendre l'évaluation pratique, le Fonds est structuré en 120 panels disciplinaires. Chaque jury évalue environ 24 manifestations d'intérêt et en sélectionne environ 24 à inviter à soumettre une proposition complète. Ces 12 propositions sont envoyées à une cible de trois (presque exclusivement) arbitres internationaux pour commentaires. Les panels se réunissent à nouveau pour examiner les propositions, les commentaires des arbitres et les réfutations des enquêteurs, afin de sélectionner les XNUMX qui seront retenues.
Avec des arbitres actuellement anonymes, la contribution d'examen qui nous intéresse le plus et que nous pouvons faire valoir est le service rendu par les panélistes.
En mettant la reconnaissance par les pairs à la disposition des panélistes du Marsden Fund, qu'espérez-vous accomplir et quels défis avez-vous rencontrés ?
L'examen par les pairs est une partie si importante de nos processus, nous recherchons donc un moyen clair, propre et faisant autorité d'affirmer sans ambiguïté qu'une personne en particulier a rendu ce service. Nous espérons que cela sera utile aux panélistes. Étant donné que nous sommes souvent approchés pour confirmer qu'ils ont fait partie d'un panel pour d'autres processus d'évaluation, nous voulons donner aux panélistes la possibilité de partager ces informations eux-mêmes.
La socialisation consistant à affirmer ce qui est déjà une information publique devrait donc être triviale. Au lieu de cela, notre plus grand défi a été d'essayer d'intégrer ce rôle dans ORCIDreprésentation modèle de l'examen par les pairs. À l'inverse, ce modèle conviendrait relativement bien si le Fonds, ou en fait l'un des processus de la Société, offrait aux arbitres la possibilité d'être ouverts sur leur identité ; cependant, ce n'est certainement pas le cas actuellement.
Quelles approches avez-vous envisagées, par exemple, en termes de reconnaissance des évaluations par les pairs par rapport à l'affiliation à un service ?
Nos réflexions initiales étaient d'affirmer ces rôles dans la section d'examen par les pairs du ORCID record, à la fois parce que nous pensions pouvoir le faire fonctionner et, avec la v2.1 du ORCID API, c'était le seul jeu en ville. Cependant, la prise en main du modèle d'évaluation par les pairs a montré que celui-ci n'était pas vraiment adapté à ce que nous voulions affirmer, à savoir lorsqu'une œuvre identifiable fait l'objet d'une évaluation identifiable. Après discussions avec le ORCID team, nous avons plutôt décidé d'attendre les affiliations de service de la v3.0.
Quelle a été jusqu'à présent la réaction des chercheurs au sujet de l'option de faire reconnaître leur travail d'examen pour la Société dans leur ORCID record?
Il est trop tôt pour le dire car il est encore tôt. Une partie de la poursuite de cet objectif consistait à obtenir l'approbation du Conseil du Fonds Marsden qui régit le fonds, et ils ont soutenu à la fois cette activité et les affirmations de financement dans ORCID.
Quels défis a posé le fait d'être le premier à travailler sur la reconnaissance de l'évaluation par les pairs dans le financement, et quels conseils donneriez-vous aux autres bailleurs de fonds qui souhaiteraient lier et reconnaître l'évaluation par les pairs ?
L'examen par les pairs est la plus récente des sections du ORCID record, et, au moins dans la v2.1, est solidement orienté autour du concept d'un évaluateur composant une évaluation pour un sujet au nom d'un groupe d'évaluation. En tant que bailleur de fonds, les défis étaient que le sujet doit être l'un des ORCIDles types de travaux de , tandis que les groupes de révision peuvent être l'un des suivants : éditeur ; institution; journal; conférence; un journal; bulletin; magazine; ou un service d'examen par les pairs. Ni l'un ni l'autre ne convient vraiment à un organisme de financement, où le sujet ne serait pas une œuvre mais une subvention, une proposition ou une candidature. Le fait qu'une grande partie de l'examen du financement contestable soit aveuglé rend également l'application stricte des ORCIDle modèle d'examen par les pairs de l' est impraticable pour nous pour le moment.
Si la Société évoluait vers un examen ouvert, ou du moins plus ouvert qu'actuellement, l'approche d'examen par les pairs vaudrait la peine d'être réexaminée. Pour les autres bailleurs de fonds, une fois ORCID a des types de sujets et des types d'organisation qui correspondent, alors c'est certainement possible s'ils pratiquent l'examen ouvert ; cependant, les affiliations au service semblent être une approche beaucoup plus universellement applicable dans l'intervalle.
Pour l'avenir, la reconnaissance par les pairs fait-elle partie du ORCID feuille de route pour les autres membres néo-zélandais utilisant le ORCID Centre?
Tous les principaux bailleurs de fonds publics de la recherche en Nouvelle-Zélande font partie de notre consortium, et c'est quelque chose qu'ils peuvent poursuivre en utilisant le Hub. J'espère vraiment voir ce genre de reconnaissance s'étendre à nos autres bailleurs de fonds étant donné la valeur que nous recevons du service des pairs évaluateurs.