Il s'agit d'un message par guest Rupesh Paudyal, responsable des politiques de financement, UK Research and Innovation (UKRI)
Démontrer un engagement envers l'examen par les pairs
Recherche et innovation au Royaume-Uni (UKRI) a récemment mis en œuvre le ORCID La fonction de reconnaissance des examinateurs dans son système de financement, Je-S. Il offre aux examinateurs de l'UKRI la possibilité d'obtenir une reconnaissance formelle pour leur contribution à l'examen affichée dans leur ORCID profils.
L'UKRI a été l'un des premiers bailleurs de fonds au monde à signer le ORCID Lettre ouverte aux financeurs, et est le premier bailleur de fonds à mettre en œuvre ORCID Réviseur Reconnaissance dans son système de financement. Cette initiative démontre notre engagement envers l'examen par les pairs et la mise en œuvre ORCID dans nos systèmes de financement conformément aux ORCID directives de bonnes pratiques pour les bailleurs de fonds.
Ici, je vais vous faire découvrir notre cheminement dans la mise en œuvre de la ORCID Reconnaissance des évaluateurs et partage des leçons apprises. En résumé, le principal défi dans la mise en œuvre de cette fonctionnalité n'était pas dans le développement du système, mais plutôt dans les considérations minutieuses pour la protection des données, la politique, les exigences utilisateur et système, et la carte des processus.
Reconnaître la contribution des examinateurs de l'UKRI sans compromettre nos principes d'évaluation
L'UKRI apprécie l'effort que les évaluateurs contribuent à l'évaluation des candidatures pour nous, ce qui est une partie essentielle du processus de financement. Nous comptons beaucoup sur le temps et l'expertise des examinateurs pour soutenir notre processus d'examen et nous aider à prendre les meilleures décisions de financement. Chaque année, des experts effectuent des dizaines de milliers d'examens pour l'UKRI.
Cependant, étant donné que l'anonymat et la confidentialité sont deux des principes du Principes d'évaluation et de prise de décision de l'UKRI, la contribution de nos évaluateurs experts n'est pas formellement reconnue. Par conséquent, nous explorons actuellement plusieurs initiatives pour mieux reconnaître, récompenser et encourager la contribution des évaluateurs de l'UKRI.
ORCID La reconnaissance des évaluateurs nous offre un moyen visible et vérifiable de créditer publiquement nos évaluateurs pour leur travail, sans compromettre la confidentialité et l'anonymat du processus d'évaluation de l'UKRI.
ORCID La reconnaissance des évaluateurs peut également servir de point de référence efficace pour les évaluateurs afin de suivre le nombre d'évaluations qu'ils ont effectuées pour l'UKRI au fil du temps, ce qui sera utile lorsqu'il s'agira de demander une promotion et un financement.
Considérations politiques
Nous avons commencé par des questions de politique pour décider qui devrait être admissible à obtenir ORCID revoir les crédits. Après plusieurs cycles d'engagement avec les parties prenantes concernées à travers l'UKRI, nous avons décidé ORCID les crédits de révision ne seront disponibles que si :
- L'évaluateur soumet un « avis utilisable » via Je-S
- L'examen est soumis après le 23 novembre 2020 (date de mise en œuvre)
- Une décision de financement a été prise sur la demande examinée
Cela semble simple, mais il y a plusieurs détails qui ajoutent à la complexité.
La fonctionnalité n'est disponible dans le système Je-S qu'à partir du 23 novembre 2020. Par conséquent, seuls les évaluateurs qui soumettent des avis via Je-S après cette date seront éligibles pour obtenir ORCID revoir les crédits. L'UKRI est une organisation relativement nouvelle avec neuf conseils différents qui ont évolué indépendamment jusqu'à ce qu'ils soient réunis en 2018. Pour cette raison, nos conseils ont actuellement des systèmes de financement distincts : les sept conseils de recherche et d'autres programmes transversaux utilisent Je-S ; tandis qu'Innovate UK utilise IFS.
As ORCID La reconnaissance des évaluateurs n'est mise en œuvre que dans Je-S, les évaluations soumises via l'IFS d'Innovate UK, les évaluations historiques et les évaluations hors système ne sont actuellement pas éligibles pour recevoir ORCID revoir les crédits de l'UKRI. Cependant, nous examinerons les avantages potentiels de l'élargissement de cette fonctionnalité aux candidatures soumises à Innovate UK à l'avenir.
Plus de 97 % des avis reçus entre 2014 et 2018 via Je-S ont été classés comme « utilisables ». Ce sont les examens qui sont utilisés dans le processus d'évaluation et de prise de décision. Cependant, les examinateurs ne connaissent pas le statut de classification de leur examen dans le système UKRI. Bien que nous n'ayons toujours pas la capacité d'informer les évaluateurs individuels du statut de leur avis, nous avons publié la liste des indicateurs que notre personnel utilise pour classer les avis. Nous espérons que cela servira de guide utile pour nos évaluateurs dans la soumission d'évaluations de haute qualité. Nous publions également pourquoi un avis est susceptible d'être classé comme « inutilisable ».
L'une des principales considérations politiques était de garantir que la confidentialité et l'anonymat de notre processus d'examen ne soient pas compromis. Par conséquent, le transfert de données de Je-S vers ORCID n'inclut pas les détails de la demande individuelle, la date complète de l'examen ou le nom du Conseil de l'UKRI qui a publié l'examen. De plus, nous n'émettrons pas ORCID examiner les crédits jusqu'à ce qu'une décision de financement ait été prise sur la demande. Seules les informations ci-dessous seront affichées dans le ORCID enregistrements :
- Rôle : Réviseur
- Type d'activité : Révision
- Date de révision : Année (par exemple, 2020)
- Organisation organisatrice : UK Research and Innovation (Swindon, GB)
- Source : Systèmes UKRI
Exigences en matière de protection des données
UKRI est le contrôleur de données pour toute information que le système UKRI envoie au ORCID profil des utilisateurs de Je-S. Par conséquent, nous envoyons les informations d'examen à ORCID au nom de nos évaluateurs, sur la base de leur consentement. Cela signifie que nos évaluateurs décident d'accorder ou de refuser l'autorisation à l'UKRI d'envoyer des informations d'évaluation à leur ORCID Compte. Nos évaluateurs devraient pouvoir activer ou désactiver l'autorisation à tout moment à partir de leur compte Je-S. Cela donne à nos examinateurs le contrôle de choisir les avis pour lesquels ils reçoivent un ORCID revoir le crédit. Notre système n'enverra que ORCID revoir les crédits aux examinateurs qui ont explicitement accordé des autorisations dans leur profil Je-S.
ORCID les utilisateurs ont un contrôle total sur la gestion des informations affichées dans leur ORCID profil. En tant que tel, ORCID les utilisateurs peuvent instantanément supprimer ou modifier la visibilité des informations de leur ORCID profil. En tant que responsable du traitement, l'UKRI doit également être en mesure d'accepter cette demande de ORCID aux utilisateurs de supprimer les informations générées par l'UKRI de leur ORCID profil. Par conséquent, nous avons développé un processus interne pour gérer ces demandes, et nous avons conseillé à nos réviseurs d'envoyer un e-mail à notre équipe d'assistance Je-S pour demander toute suppression des données UKRI de leur ORCID compte.
Carte des processus et développement du système
Toute information soumise via Je-S - notre système frontal, où les utilisateurs interagissent avec UKRI - est stockée dans le back-office, système interne, qui n'est pas accessible aux utilisateurs. Le système interne comprend des informations sur les avis soumis via Je-S. Pour envoyer les crédits de révision à ORCID, le processus doit démarrer à partir du système interne.
Nous avons conçu la carte du processus de sorte qu'une fois que les critères (énumérés sous « Considérations relatives à la politique ») sont remplis, le crédit d'examen est envoyé de notre système interne à Je-S. Une fois que le crédit d'examen est dans Je-S, le crédit d'examen n'est émis qu'à ORCID, si l'examinateur autorise explicitement l'UKRI à envoyer ces informations d'examen à son ORCID profil. L'examinateur doit lier ses ORCID iD avec leur compte Je-S pour recevoir ORCID revoir les crédits.
Une chose que nous n'avions pas considérée au début du projet est l'exigence de ORCID pour afficher les informations de l'examen sur une page Web externe appartenant à UKRI. L'idée était que l'activité d'examen, telle qu'elle est affichée sur ORCID, serait lié à l'enregistrement de l'activité d'examen sur une page Web appartenant à l'UKRI. Nous avons réalisé que cette exigence compliquerait considérablement le développement du système, la protection des données et les exigences en matière de politique. Notre objectif était que la reconnaissance des avis soit affichée à travers ORCID et non sur la page Web de l'UKRI. Par conséquent, nous avons demandé ORCID envisager d'exempter l'UKRI de cette exigence et ORCID D'accord!
La construction du système a commencé après avoir cartographié tous ces détails. Ci-dessous, vous pouvez voir comment les informations d'examen circulent des systèmes de l'UKRI vers ORCID.
Implantation
Enfin, la mise en œuvre de la fonctionnalité a nécessité l'élaboration d'orientations et d'informations pour les membres de la communauté de la recherche et de l'innovation, y compris les évaluateurs. Dans le cadre de la mise en œuvre, nous avons développé du contenu de page Web sur ORCID Reconnaissance de l'examinateur, y compris les FAQ destinées aux évaluateurs. De plus, nous avons également mené une campagne de communication interne au sein de l'UKRI, créant des FAQ internes et des diapositives pour notre personnel.
L'une des choses les plus importantes à considérer est la façon dont nous communiquons ces changements à nos évaluateurs. Pour ce faire, nous avons modifié notre e-mail d'invitation d'avis pour mentionner la possibilité d'obtenir des crédits d'avis via ORCID et un lien vers la page Web de l'UKRI pour plus d'informations. Nous avons également émis une communication à tous les utilisateurs qui ont connecté leur ORCID iDs à Je-S les informant de ORCID Reconnaissance du réviseur avant la mise en œuvre de cette fonctionnalité.
Au cours du développement, nous avons remarqué que ORCID avaient mis à jour leur API (le code qui relie ORCID avec Je-S) depuis août 2017, et que l'API précédente n'avait pas la fonctionnalité pour envoyer des crédits de révision à ORCID. Cela signifiait que nos utilisateurs, qui ont lié leurs ORCID iD avec leur compte Je-S avant août 2017, ne serait pas en mesure de recevoir ORCID revoir les crédits. Pour que ces utilisateurs reçoivent ORCID revoir les crédits, ils devraient retirer leur ORCID lien avec Je-S et rétablir cette connexion. Par conséquent, nous avons conçu un processus pour supprimer un ORCID connexion depuis notre système, ce que les utilisateurs de Je-S peuvent faire à tout moment en envoyant un e-mail [email protected]. De plus, nous avons informé les utilisateurs concernés de cette exigence plusieurs semaines avant la mise en œuvre de la fonctionnalité.
Les utilisateurs ont également été informés par e-mail une fois que le ORCID La fonction de reconnaissance des évaluateurs a été mise en ligne dans notre système.
Conclusion
Dans cet article de blog, j'ai essayé de donner un aperçu de l'approche de l'UKRI pour mettre en œuvre le ORCID Reconnaissance de l'examinateur. L'UKRI s'engage à mettre en œuvre ORCID conformément aux meilleures pratiques pour les bailleurs de fonds, et nous sommes heureux de partager les leçons apprises avec d'autres bailleurs de fonds qui envisagent de mettre en œuvre cette fonctionnalité. Comme je l'ai mentionné précédemment, les éléments les plus importants que nous devions prendre en compte lors de l'adoption de cette fonctionnalité sont les décisions politiques, les exigences en matière de protection des données, les exigences système, la cartographie des processus et, enfin, la création et la mise en œuvre du système.
