Questo è un ospite post da Rupesh Paudial, Responsabile della politica di finanziamento, Ricerca e innovazione nel Regno Unito (UKRI)
Dimostrare un impegno per la revisione tra pari
Ricerca e innovazione nel Regno Unito (UKRI) ha recentemente implementato il ORCID Funzione di riconoscimento dei revisori nel suo sistema di finanziamento, Je-S. Fornisce ai revisori UKRI un'opzione per ottenere un riconoscimento formale per il loro contributo alla revisione visualizzato nel loro ORCID profili.
L'UKRI è stato uno dei primi finanziatori al mondo a firmare il ORCID Lettera aperta per i finanziatori, ed è il primo finanziatore ad implementare ORCID Riconoscimento del revisore nel suo sistema di finanziamento. Questa iniziativa dimostra il nostro impegno per la revisione paritaria e l'implementazione ORCID nei nostri sistemi di finanziamento in conformità con ORCID linee guida sulle migliori pratiche per i finanziatori.
Qui, ti guiderò attraverso il nostro viaggio nell'implementazione del ORCID Riconoscimento del revisore e condivisione delle lezioni apprese. In sintesi, la sfida principale nell'implementazione di questa funzionalità non era nello sviluppo del sistema, ma piuttosto nelle attente considerazioni per la protezione dei dati, la politica, i requisiti utente e di sistema e la mappa dei processi.
Riconoscere il contributo dei revisori UKRI senza compromettere i nostri Principi di valutazione
L'UKRI apprezza lo sforzo che i revisori contribuiscono alla valutazione delle domande per noi, che è una parte essenziale del processo di finanziamento. Facciamo molto affidamento sul tempo e sull'esperienza dei revisori per supportare il nostro processo di revisione e aiutarci a prendere le migliori decisioni di finanziamento. Ogni anno, gli esperti effettuano decine di migliaia di revisioni per UKRI.
Tuttavia, poiché l'anonimato e la riservatezza sono due dei principi del Principi di valutazione e processo decisionale dell'UKRI, il contributo dei nostri revisori esperti non è formalmente riconosciuto. Pertanto, stiamo attualmente esplorando diverse iniziative per riconoscere, premiare e incentivare meglio il contributo dei valutatori dell'UKRI.
ORCID Il riconoscimento dei revisori ci fornisce un modo visibile e verificabile per accreditare pubblicamente i nostri revisori per il loro lavoro, senza compromettere la riservatezza e l'anonimato del processo di revisione UKRI.
ORCID Il riconoscimento dei revisori può anche fungere da punto di riferimento efficace per i revisori per tenere traccia del numero di revisioni che hanno effettuato per l'UKRI nel tempo, il che sarà utile quando si tratta di richiedere una promozione e un finanziamento.
Considerazioni politiche Policy
Abbiamo iniziato con domande sulle norme per decidere chi dovrebbe essere idoneo a ottenere ORCID rivedere i crediti. Dopo diversi round di coinvolgimento con le parti interessate pertinenti in tutto l'UKRI, abbiamo deciso ORCID i crediti di revisione saranno disponibili solo se:
- Il revisore invia una "recensione utilizzabile" tramite Je-S
- La revisione è presentata dopo il 23 novembre 2020 (data di attuazione)
- È stata presa una decisione di finanziamento sulla domanda esaminata
Sembra semplice, ma ci sono diversi dettagli che si aggiungono alla complessità.
La funzione è disponibile solo nel sistema Je-S dal 23 novembre 2020. Pertanto, solo i revisori che inviano recensioni tramite Je-S dopo tale data potranno ottenere ORCID rivedere i crediti. L'UKRI è un'organizzazione relativamente nuova con nove diversi Consigli che si sono evoluti in modo indipendente fino a quando non sono stati riuniti nel 2018. Per questo motivo, i nostri Consigli attualmente hanno sistemi di finanziamento separati: i sette Consigli di ricerca e altri programmi trasversali utilizzano Je-S; mentre Innovate UK utilizza IFS.
As ORCID Il riconoscimento del revisore è implementato solo in Je-S, le recensioni inviate tramite IFS di Innovate UK, le recensioni storiche e le recensioni fuori dal sistema non sono attualmente idonee a ricevere ORCID rivedere i crediti dell'UKRI. Tuttavia, esamineremo i potenziali vantaggi dell'estensione di questa funzionalità alle domande presentate a Innovate UK in futuro.
Oltre il 97% delle recensioni ricevute tra il 2014 e il 2018 tramite Je-S è stato classificato come "utilizzabile". Queste sono le revisioni che vengono utilizzate nella valutazione e nel processo decisionale. Tuttavia, i revisori non sono a conoscenza dello stato di classificazione della loro recensione nel sistema UKRI. Sebbene non siamo ancora in grado di informare i singoli revisori dello stato della loro recensione, abbiamo pubblicato l'elenco degli indicatori che il nostro personale utilizza per classificare le recensioni. Ci auguriamo che questo possa fungere da guida utile per i nostri revisori nell'invio di recensioni di alta qualità. Pubblichiamo anche il motivo per cui è probabile che una recensione venga classificata come "inutilizzabile".
Una delle considerazioni chiave della politica era garantire che la riservatezza e l'anonimato del nostro processo di revisione non fossero compromessi. Pertanto, il trasferimento dei dati da Je-S a ORCID non include i dettagli della domanda individuale, la data completa della revisione o il nome del Consiglio dell'UKRI che ha emesso la revisione. Inoltre, non emetteremo ORCID rivedere i crediti fino a quando non è stata presa una decisione di finanziamento sulla domanda. Solo le informazioni di seguito verranno visualizzate nel ORCID record:
- Ruolo: Revisore
- Tipo di attività: recensione
- Data di revisione: anno (ad es. 2020)
- Ente convocatore: UK Research and Innovation (Swindon, GB)
- Fonte: Sistemi UKRI
Requisiti per la protezione dei dati
UKRI è il titolare del trattamento di tutte le informazioni che il sistema UKRI invia al ORCID profilo degli utenti Je-S. Pertanto, stiamo inviando le informazioni sulla recensione a ORCID per conto dei nostri revisori, in base al loro consenso. Ciò significa che i nostri revisori decidono se concedere o negare l'autorizzazione all'UKRI per inviare informazioni sulle recensioni ai propri ORCID account. I nostri revisori dovrebbero essere in grado di attivare o disattivare l'autorizzazione in qualsiasi momento dal proprio account Je-S. Questo dà ai nostri revisori il controllo per scegliere le recensioni per le quali ricevono un ORCID rivedere il credito. Il nostro sistema invierà solo ORCID rivedere i crediti a quei revisori che hanno concesso esplicitamente le autorizzazioni nel loro profilo Je-S.
ORCID gli utenti hanno il pieno controllo nella gestione delle informazioni visualizzate nel loro ORCID profilo. Come tale, ORCID gli utenti possono eliminare o modificare istantaneamente la visibilità delle informazioni dal loro ORCID profilo. In qualità di titolare del trattamento dei dati, anche UKRI deve essere in grado di accettare questa richiesta da request ORCID agli utenti di eliminare le informazioni generate dall'UKRI dai loro ORCID profilo. Pertanto, abbiamo sviluppato un processo interno per gestire queste richieste e abbiamo consigliato ai nostri revisori di inviare un'e-mail al nostro team di assistenza Je-S per richiedere l'eventuale cancellazione dei dati UKRI dai loro ORCID conto.
Mappa dei processi e sviluppo del sistema
Qualsiasi informazione inviata tramite Je-S, il nostro sistema di front-end, in cui gli utenti interagiscono con UKRI, viene archiviata nel sistema interno di back-office, che non è accessibile agli utenti. Il sistema interno include informazioni sulle recensioni inviate tramite Je-S. Per inviare i crediti della recensione a ORCID, il processo deve partire dal sistema interno.
Abbiamo progettato la mappa del processo in modo che, una volta soddisfatti i criteri (elencati in "Considerazioni sulla politica"), il credito di revisione venga inviato dal nostro sistema interno a Je-S. Una volta che il credito di recensione è in Je-S, il credito di recensione viene rilasciato solo a ORCID, se il revisore dà il permesso esplicito all'UKRI di inviare queste informazioni sulla recensione ai propri ORCID profilo. Il revisore deve collegare il proprio ORCID iD con il loro account Je-S per ricevere ORCID rivedere i crediti.
Una cosa che non avevamo considerato all'inizio del progetto è il requisito da ORCID per visualizzare le informazioni sulla recensione su una pagina Web esterna di proprietà dell'UKRI. L'idea era che l'attività di revisione, come visualizzata su ORCID, sarebbe collegato alla registrazione dell'attività di revisione su una pagina web di proprietà dell'UKRI. Ci siamo resi conto che questo requisito avrebbe complicato notevolmente lo sviluppo del sistema, la protezione dei dati e i requisiti delle policy. Il nostro obiettivo era mostrare il riconoscimento delle recensioni attraverso ORCID e non sulla pagina web dell'UKRI. Pertanto, abbiamo richiesto ORCID considerare di esentare l'UKRI da questo requisito e ORCID concordato!
La costruzione del sistema è iniziata dopo aver mappato tutti questi dettagli. Di seguito, puoi vedere come le informazioni di revisione fluiscono dai sistemi UKRI a ORCID.
Implementazione
Infine, l'implementazione della funzionalità ha richiesto lo sviluppo di linee guida e informazioni per i membri della comunità di ricerca e innovazione, inclusi i revisori. Come parte dell'implementazione, abbiamo sviluppato il contenuto della pagina web su ORCID Riconoscimento del revisore, comprese le domande frequenti rivolte ai revisori. Inoltre, abbiamo anche condotto una campagna di comunicazione interna all'interno dell'UKRI, creando FAQ interne e slide deck per il nostro personale.
Una delle cose più importanti da considerare è il modo in cui comunichiamo queste modifiche ai nostri revisori. Per fare ciò, abbiamo modificato la nostra email di invito alla recensione per menzionare l'opzione di ottenere crediti di recensione tramite ORCID e collegandosi alla pagina web dell'UKRI per ulteriori informazioni. Abbiamo inoltre diramato una comunicazione a tutti gli utenti che hanno collegato i propri ORCID iDs a Je-S informandoli di ORCID Riconoscimento del revisore prima dell'implementazione di questa funzione.
Mentre lo sviluppo ha avuto luogo, abbiamo notato che ORCID avevano aggiornato la loro API (il codice che collega ORCID con Je-S) da agosto 2017 e che la precedente API non aveva la funzionalità per inviare crediti di recensione a ORCID. Ciò significava che i nostri utenti, che hanno collegato il loro ORCID iD con il loro account Je-S prima di agosto 2017, non sarebbero in grado di ricevere ORCID rivedere i crediti. Affinché questi utenti possano ricevere ORCID rivedere i crediti, dovrebbero rimuovere il loro attuale ORCID collegarsi con Je-S e ristabilire questa connessione. Pertanto, abbiamo progettato un processo per rimuovere un ORCID connessione dal nostro sistema, che gli utenti Je-S possono fare in qualsiasi momento inviando un'e-mail JeSHelp@je-s.ukri.org. Inoltre, abbiamo informato gli utenti interessati di questo requisito diverse settimane prima dell'implementazione della funzione.
Gli utenti sono stati anche avvisati via e-mail una volta che il ORCID La funzione di riconoscimento del revisore è stata attivata nel nostro sistema.
Conclusione
In questo post sul blog, ho cercato di fornire una panoramica dell'approccio dell'UKRI all'implementazione del ORCID Riconoscimento del revisore. UKRI si impegna a implementare ORCID in conformità con le migliori pratiche per i finanziatori e siamo lieti di condividere le lezioni apprese con altri finanziatori che stanno valutando l'implementazione di questa funzione. Come accennato in precedenza, le cose più importanti da considerare nell'adozione di questa funzionalità sono le decisioni politiche, i requisiti di protezione dei dati, i requisiti di sistema, la mappatura dei processi e, infine, la creazione e l'implementazione del sistema.