Se trata de un puesto de invitado por Rupesh Paudyal, Responsable de políticas de financiación, Investigación e innovación del Reino Unido (UKRI)
Demostrar un compromiso con la revisión por pares
Investigación e innovación en el Reino Unido (UKRI) ha implementado recientemente la ORCID La función de reconocimiento de revisores en su sistema de financiación, Je-S. Proporciona a los revisores de UKRI una opción para obtener un reconocimiento formal por su contribución a la revisión que se muestra en su ORCID perfiles.
UKRI fue uno de los primeros financiadores del mundo en firmar el ORCID Carta abierta para financiadores, y es el primer financiador en implementar ORCID Reconocimiento de revisor en su sistema de financiación. Esta iniciativa demuestra nuestro compromiso con la revisión por pares y la implementación ORCID en nuestros sistemas de financiación de acuerdo con ORCID pautas de mejores prácticas para financiadores.
Aquí, lo guiaré a través de nuestro viaje para implementar el ORCID Revisor Reconocimiento y compartir lecciones aprendidas. En resumen, el desafío principal en la implementación de esta función no estaba en el desarrollo del sistema, sino en las consideraciones cuidadosas para la protección de datos, la política, los requisitos del usuario y del sistema, y el mapa de procesos.
Reconociendo la contribución de los revisores de UKRI sin comprometer nuestros Principios de Evaluación
UKRI valora el esfuerzo que los revisores contribuyen para evaluar las solicitudes para nosotros, que es una parte esencial del proceso de financiación. Dependemos en gran medida del tiempo y la experiencia de los revisores para respaldar nuestro proceso de revisión y ayudarnos a tomar las mejores decisiones de financiación. Cada año, los expertos realizan decenas de miles de revisiones para UKRI.
Sin embargo, debido a que el anonimato y la confidencialidad son dos de los principios del Principios de evaluación y toma de decisiones de UKRI, la contribución de nuestros revisores expertos no se reconoce formalmente. Por lo tanto, actualmente estamos explorando varias iniciativas para reconocer, recompensar e incentivar mejor la contribución de los evaluadores de UKRI.
ORCID Reviewer Recognition nos brinda una forma visible y verificable de acreditar públicamente a nuestros revisores por su trabajo, sin comprometer la confidencialidad y el anonimato del proceso de revisión de UKRI.
ORCID Reviewer Recognition también puede actuar como un punto de referencia efectivo para que los revisores realicen un seguimiento del número de revisiones que han realizado para UKRI a lo largo del tiempo, lo que será útil a la hora de solicitar una promoción y financiación.
Consideraciones de política
Comenzamos con preguntas sobre políticas para decidir quién debería ser elegible para recibir ORCID revisar los créditos. Después de varias rondas de participación con las partes interesadas relevantes en toda UKRI, decidimos ORCID Los créditos de revisión solo estarán disponibles si:
- El revisor envía una "revisión utilizable" a través de Je-S
- La revisión se presenta después del 23 de noviembre de 2020 (la fecha de implementación).
- Se ha tomado una decisión de financiamiento sobre la solicitud revisada.
Esto suena simple, pero hay varios detalles que se suman a la complejidad.
La función solo está disponible en el sistema Je-S a partir del 23 de noviembre de 2020. Por lo tanto, solo los revisores que envíen reseñas a través de Je-S después de esa fecha serán elegibles para obtener ORCID revisar los créditos. UKRI es una organización relativamente nueva con nueve Consejos diferentes que evolucionaron de forma independiente hasta que se reunieron en 2018. Debido a esto, nuestros Consejos tienen actualmente sistemas de financiación separados: los siete Consejos de Investigación y otros programas transversales utilizan Je-S; mientras que Innovate UK usa IFS.
As ORCID El reconocimiento de revisores solo se implementa en Je-S, las revisiones enviadas a través de IFS de Innovate UK, las revisiones históricas y las revisiones fuera del sistema no son actualmente elegibles para recibir ORCID revisar los créditos de UKRI. Sin embargo, revisaremos los beneficios potenciales de ampliar esta función a las solicitudes enviadas a Innovate UK en el futuro.
Más del 97% de las reseñas recibidas entre 2014 y 2018 a través de Je-S se clasificaron como "utilizables". Estas son las revisiones que se utilizan en el proceso de evaluación y toma de decisiones. Sin embargo, los revisores desconocen el estado de clasificación de su revisión en el sistema UKRI. Si bien todavía no tenemos la capacidad de informar a los revisores individuales sobre el estado de su revisión, hemos publicado la lista de indicadores que nuestro personal utiliza para clasificar las revisiones. Esperamos que esto sirva como una guía útil para nuestros revisores a la hora de enviar reseñas de alta calidad. También publicamos por qué es probable que una reseña se clasifique como "inutilizable".
Una de las consideraciones clave de la política fue garantizar que la confidencialidad y el anonimato de nuestro proceso de revisión no se vean comprometidos. Por lo tanto, la transferencia de datos de Je-S a ORCID no incluye detalles de la solicitud individual, la fecha completa de la revisión o el nombre del Consejo de la UKRI que emitió la revisión. Además, no emitiremos ORCID revisar los créditos hasta que se haya tomado una decisión sobre la financiación de la solicitud. Solo la siguiente información se mostrará en el ORCID registros:
- Rol: Revisor
- Tipo de actividad: revisión
- Fecha de revisión: año (p. Ej., 2020)
- Organización convocante: Investigación e innovación del Reino Unido (Swindon, GB)
- Fuente: UKRI Systems
Requisitos de protección de datos
UKRI es el controlador de datos de cualquier información que el sistema UKRI envíe al ORCID perfil de los usuarios de Je-S. Por lo tanto, enviamos la información de revisión a ORCID en nombre de nuestros revisores, en base a su consentimiento. Esto significa que nuestros revisores deciden si otorgan o deniegan permiso a UKRI para enviar información de revisión a sus ORCID cuenta. Nuestros revisores deberían poder activar o desactivar el permiso en cualquier momento desde su cuenta Je-S. Esto le da a nuestros revisores el control para elegir las revisiones por las que reciben una ORCID revisar el crédito. Nuestro sistema solo enviará ORCID Revise los créditos para aquellos revisores que hayan otorgado permisos explícitamente en su perfil Je-S.
ORCID Los usuarios tienen control total en la gestión de la información que se muestra en sus ORCID perfil. Como tal, ORCID Los usuarios pueden eliminar o cambiar instantáneamente la visibilidad de la información de sus ORCID perfil. Como controlador de datos, UKRI también debe poder aceptar esta solicitud de ORCID que los usuarios eliminen la información generada por UKRI de sus ORCID perfil. Por lo tanto, hemos desarrollado un proceso interno para gestionar estas solicitudes, y hemos recomendado a nuestros revisores que envíen un correo electrónico a nuestro equipo de ayuda de Je-S para solicitar la eliminación de los datos de UKRI de sus ORCID cuenta.
Mapa de procesos y desarrollo de sistemas
Cualquier información enviada a través de Je-S, nuestro sistema de front-end, donde los usuarios interactúan con UKRI, se almacena en el sistema interno de back-office, que no es accesible para los usuarios. El sistema interno incluye información sobre las revisiones enviadas a través de Je-S. Para enviar los créditos de revisión a ORCID, el proceso debe comenzar desde el sistema interno.
Diseñamos el mapa de procesos para que una vez que se cumplan los criterios (enumerados en “Consideraciones de política”), el crédito de revisión se envíe desde nuestro sistema interno a Je-S. Una vez que el crédito de revisión está en Je-S, el crédito de revisión solo se emite a ORCID, si el revisor da permiso explícito para que UKRI envíe esta información de revisión a su ORCID perfil. El revisor debe vincular su ORCID iD con su cuenta Je-S para recibir ORCID revisar los créditos.
Una cosa que no habíamos considerado al inicio del proyecto es el requisito de ORCID para mostrar la información de revisión en una página web externa propiedad de UKRI. La idea era que la actividad de revisión, como se muestra en ORCID, estaría vinculado al registro de la actividad de revisión en una página web propiedad de UKRI. Nos dimos cuenta de que este requisito complicaría significativamente el desarrollo del sistema, la protección de datos y los requisitos de la política. Nuestro objetivo era que el reconocimiento de reseñas se mostrara a través de ORCID y no en la página web de la UKRI. Por lo tanto, solicitamos ORCID considerar eximir a UKRI de este requisito, y ORCID ¡convenido!
La construcción del sistema comenzó después de mapear todos estos detalles. A continuación, puede ver cómo fluye la información de revisión de los sistemas UKRI a ORCID.
Implementación
Finalmente, la implementación de la función requirió el desarrollo de orientación e información para los miembros de la comunidad de investigación e innovación, incluidos los revisores. Como parte de la implementación, hemos desarrollado el contenido de la página web en ORCID Reconocimiento del revisor, incluidas las preguntas frecuentes dirigidas a los revisores. Además, también llevamos a cabo una campaña de comunicación interna dentro de UKRI, creando preguntas frecuentes internas y presentaciones de diapositivas para nuestro personal.
Una de las cosas más importantes a considerar es cómo comunicamos estos cambios a nuestros revisores. Para ello, modificamos nuestro correo electrónico de invitación a revisar para mencionar la opción de obtener créditos de revisión a través de ORCID y enlace a la página web de la UKRI para obtener más información. También emitimos comunicación a todos los usuarios que han conectado sus ORCID iDs a Je-S informándoles de ORCID Reviewer Recognition antes de que se implementara esta función.
Mientras se llevaba a cabo el desarrollo, notamos que ORCID había actualizado su API (el código que enlaza ORCID con Je-S) desde agosto de 2017, y que la API anterior no tenía la funcionalidad para enviar créditos de revisión a ORCID. Esto significó que nuestros usuarios, que vincularon sus ORCID iD con su cuenta Je-S antes de agosto de 2017, no podría recibir ORCID revisar los créditos. Para que estos usuarios reciban ORCID revisar los créditos, tendrían que eliminar su actual ORCID vincular con Je-S y restablecer esta conexión. Por lo tanto, diseñamos un proceso para eliminar un ORCID conexión desde nuestro sistema, que los usuarios de Je-S pueden hacer en cualquier momento enviando un correo electrónico JeSHelp@je-s.ukri.org. Además, notificamos a los usuarios afectados sobre este requisito varias semanas antes de que se implementara la función.
Los usuarios también fueron notificados por correo electrónico una vez que ORCID La función de reconocimiento de revisores se puso en marcha en nuestro sistema.
Conclusión
En esta publicación de blog, he intentado proporcionar una descripción general del enfoque de UKRI para implementar el ORCID Reconocimiento del revisor. UKRI se compromete a implementar ORCID de acuerdo con las mejores prácticas para los donantes, y nos complace compartir las lecciones aprendidas con otros donantes que están considerando implementar esta función. Como mencioné anteriormente, las cosas más importantes que tuvimos que considerar al adoptar esta función son las decisiones de política, los requisitos de protección de datos, los requisitos del sistema, el mapeo de procesos y, finalmente, la construcción e implementación del sistema.