Este é um post convidado por Rupesh Paudyal, Líder de Política de Financiamento, Pesquisa e Inovação do Reino Unido (UKRI)
Demonstrando um Compromisso com a Avaliação por Pares
Pesquisa e Inovação do Reino Unido (UKRI) implementou recentemente o ORCID Recurso de reconhecimento de revisor em seu sistema de financiamento, Je-S. Ele fornece aos revisores do UKRI a opção de obter reconhecimento formal por sua contribuição de revisão exibida em seus ORCID perfis.
UKRI foi um dos primeiros financiadores do mundo a assinar o ORCID Carta aberta para financiadores, e é o primeiro financiador a implementar ORCID Reconhecimento do Revisor em seu sistema de financiamento. Esta iniciativa demonstra nosso compromisso com a revisão por pares e implementação ORCID em nossos sistemas de financiamento de acordo com ORCID diretrizes de melhores práticas para financiadores.
Aqui, vou guiá-lo por nossa jornada na implementação do ORCID Reconhecimento do revisor e compartilhamento das lições aprendidas. Em resumo, o principal desafio na implementação desse recurso não estava no desenvolvimento do sistema, mas sim nas considerações cuidadosas para proteção de dados, política, requisitos do usuário e do sistema e o mapa do processo.
Reconhecer a contribuição dos revisores do UKRI sem comprometer nossos Princípios de Avaliação
O UKRI valoriza o esforço que os revisores contribuem para avaliar nossas inscrições, o que é uma parte essencial do processo de financiamento. Contamos muito com o tempo e a experiência dos revisores para apoiar nosso processo de revisão e nos ajudar a tomar as melhores decisões de financiamento. Todos os anos, os especialistas realizam dezenas de milhares de análises para o UKRI.
No entanto, devido ao anonimato e à confidencialidade serem dois dos princípios do Princípios de Avaliação e Tomada de Decisão do UKRI, a contribuição de nossos revisores especialistas não é formalmente reconhecida. Portanto, estamos atualmente explorando várias iniciativas para melhor reconhecer, recompensar e incentivar a contribuição dos avaliadores do UKRI.
ORCID O Reconhecimento do Revisor nos fornece uma maneira visível e verificável de creditar publicamente nossos revisores por seu trabalho, sem comprometer a confidencialidade e o anonimato do processo de revisão do UKRI.
ORCID O Reconhecimento do Revisor também pode atuar como um ponto de referência eficaz para que os revisores acompanhem o número de revisões que realizaram para o UKRI ao longo do tempo, o que será útil quando se trata de solicitar uma promoção e financiamento.
Considerações de política
Começamos com questões de política, decidindo quem deve ser elegível para obter ORCID rever os créditos. Após várias rodadas de envolvimento com as partes interessadas relevantes em todo o UKRI, decidimos ORCID Os créditos de revisão só estarão disponíveis se:
- O revisor envia uma “revisão utilizável” via Je-S
- A revisão é enviada após 23 de novembro de 2020 (data de implementação)
- Uma decisão de financiamento foi feita no aplicativo analisado
Isso parece simples, mas existem vários detalhes que aumentam a complexidade.
O recurso só estará disponível no sistema Je-S a partir de 23 de novembro de 2020. Portanto, apenas os revisores que enviarem avaliações via Je-S após essa data estarão qualificados para obter ORCID rever os créditos. O UKRI é uma organização relativamente nova com nove Conselhos diferentes que evoluíram independentemente até serem reunidos em 2018. Por isso, nossos Conselhos atualmente têm sistemas de financiamento separados: os sete Conselhos de Pesquisa e outros programas transversais usam Je-S; enquanto Innovate UK usa IFS.
As ORCID O reconhecimento do revisor é implementado apenas no Je-S, as revisões enviadas por meio do IFS da Innovate UK, as revisões históricas e as revisões fora do sistema não estão qualificadas para receber ORCID reveja os créditos do UKRI. No entanto, revisaremos os benefícios potenciais de ampliar esse recurso para as inscrições enviadas para a Innovate UK no futuro.
Mais de 97% das avaliações recebidas entre 2014-2018 via Je-S foram classificadas como "utilizáveis". Estas são as revisões que são usadas no processo de avaliação e tomada de decisão. No entanto, os revisores não têm conhecimento do status de classificação de sua revisão no sistema UKRI. Embora ainda não tenhamos capacidade de informar os revisores individuais sobre o status de suas revisões, publicamos a lista de indicadores que nossa equipe usa para classificar as revisões. Esperamos que isso funcione como um guia útil para nossos revisores no envio de revisões de alta qualidade. Também estamos publicando por que uma resenha provavelmente será classificada como “inutilizável”.
Uma das principais considerações de política era garantir que a confidencialidade e o anonimato de nosso processo de revisão não fossem comprometidos. Portanto, a transferência de dados de Je-S para ORCID não inclui detalhes da aplicação individual, a data completa da revisão ou o nome do Conselho do UKRI que emitiu a revisão. Além disso, não iremos emitir ORCID reveja os créditos até que uma decisão de financiamento tenha sido feita no aplicativo. Apenas as informações abaixo serão exibidas no ORCID registros:
- Função: Revisor
- Tipo de atividade: revisão
- Data de revisão: ano (por exemplo, 2020)
- Organização convocadora: UK Research and Innovation (Swindon, GB)
- Fonte: UKRI Systems
Requisitos de proteção de dados
UKRI é o controlador de dados para qualquer informação que o sistema UKRI envie para o ORCID perfil dos usuários Je-S. Portanto, estamos enviando as informações da avaliação para ORCID em nome de nossos revisores, com base em seu consentimento. Isso significa que nossos revisores decidem se concedem ou negam permissão ao UKRI para enviar informações de revisão para seus ORCID conta. Nossos revisores devem ser capazes de ativar ou desativar a permissão a qualquer momento de sua conta Je-S. Isso dá aos nossos revisores o controle para escolher as revisões pelas quais eles receberão um ORCID revisão de crédito. Nosso sistema irá apenas enviar ORCID revise os créditos para os revisores que concederam permissões explicitamente em seu perfil Je-S.
ORCID os usuários têm controle total no gerenciamento das informações exibidas em seus ORCID perfil. Assim sendo, ORCID os usuários podem excluir ou alterar instantaneamente a visibilidade das informações de seus ORCID perfil. Como controlador de dados, o UKRI também precisa ser capaz de aceitar este pedido de ORCID usuários excluam informações geradas pelo UKRI de seus ORCID perfil. Portanto, desenvolvemos um processo interno para gerenciar essas solicitações e aconselhamos nossos revisores a enviarem um e-mail à nossa equipe de ajuda do Je-S para solicitar qualquer exclusão de dados do UKRI de seus ORCID conta.
Mapa de processo e desenvolvimento de sistema
Qualquer informação enviada através do Je-S - nosso sistema front-end, onde os usuários interagem com o UKRI - é armazenada no sistema interno de back-office, que não é acessível aos usuários. O sistema interno inclui informações sobre as avaliações enviadas por meio do Je-S. Para enviar os créditos da revisão para ORCID, o processo deve começar a partir do sistema interno.
Projetamos o mapa do processo para que, uma vez que os critérios (listados em “Considerações da política”) sejam atendidos, o crédito da revisão seja enviado de nosso sistema interno para Je-S. Uma vez que o crédito de revisão está em Je-S, o crédito de revisão só é emitido para ORCID, se o revisor der permissão explícita para o UKRI enviar essas informações de revisão para seu ORCID perfil. O revisor deve vincular seu ORCID iD com sua conta Je-S para receber ORCID rever os créditos.
Uma coisa que não consideramos no início do projeto é o requisito de ORCID para exibir as informações da revisão em uma página externa da Web de propriedade do UKRI. A ideia era que a atividade de revisão, conforme exibida em ORCID, seria vinculado ao registro da atividade de revisão em uma página da Web de propriedade do UKRI. Percebemos que esse requisito complicaria significativamente o desenvolvimento do sistema, a proteção de dados e os requisitos de política. Nosso objetivo era que o reconhecimento da revisão fosse exibido por meio de ORCID e não na página da web do UKRI. Portanto, solicitamos ORCID considerar a isenção do UKRI deste requisito - e ORCID acordado!
A construção do sistema começou após mapear todos esses detalhes. Abaixo, você pode ver como as informações de revisão fluem dos sistemas UKRI para ORCID.
Implementação
Por fim, a implementação do recurso exigiu o desenvolvimento de orientações e informações para os membros da comunidade de pesquisa e inovação, incluindo revisores. Como parte da implementação, desenvolvemos o conteúdo da página da web em ORCID Reconhecimento do Revisor, incluindo perguntas frequentes destinadas a revisores. Além disso, também realizamos uma campanha de comunicação interna dentro do UKRI, criando perguntas frequentes e apresentações de slides para nossa equipe.
Uma das coisas mais importantes a se considerar é como comunicamos essas mudanças aos nossos revisores. Para fazer isso, alteramos nosso e-mail de convite de revisão para mencionar a opção de obter créditos de revisão por meio de ORCID e um link para a página da web do UKRI para obter mais informações. Também emitimos comunicados a todos os usuários que conectaram seus ORCID iDs para Je-S informando-os de ORCID Reconhecimento do revisor antes de este recurso ser implementado.
Durante o desenvolvimento, notamos que ORCID atualizou sua API (o código que liga ORCID com Je-S) desde agosto de 2017, e que a API anterior não tinha a funcionalidade de enviar créditos de revisão para ORCID. Isso significa que nossos usuários, que vincularam seus ORCID iD com sua conta Je-S antes de agosto de 2017, não seria capaz de receber ORCID rever os créditos. Para que esses usuários recebam ORCID revisar os créditos, eles teriam que remover seus ORCID conecte-se com Je-S e restabeleça essa conexão. Portanto, projetamos um processo para remover um ORCID conexão de nosso sistema, que os usuários Je-S podem fazer a qualquer momento por e-mail JeSHelp@je-s.ukri.org. Além disso, notificamos os usuários afetados sobre esse requisito várias semanas antes de o recurso ser implementado.
Os usuários também foram notificados por e-mail assim que o ORCID O recurso de reconhecimento do revisor foi ativado em nosso sistema.
Conclusão
Nesta postagem do blog, tentei fornecer uma visão geral da abordagem do UKRI para implementar o ORCID Reconhecimento do revisor. UKRI está empenhada em implementar ORCID de acordo com as melhores práticas para financiadores, e temos o prazer de compartilhar as lições aprendidas com outros financiadores que estão pensando em implementar esse recurso. Como mencionei antes, as coisas mais importantes que tivemos que considerar ao adotar esse recurso são decisões de política, requisitos de proteção de dados, requisitos de sistema, mapeamento de processos e, finalmente, construção e implementação de sistema.