Dies ist ein Gastbeitrag von Rupesh Paudyal, Leiter Finanzierungspolitik, UK Research and Innovation (UKRI)
Engagement für Peer Review demonstrieren
UK Forschung und Innovation (UKRI) hat kürzlich das implementiert ORCID Je-S. verfügt über eine Funktion zur Anerkennung von Gutachtern in seinem Finanzierungssystem. Es bietet UKRI-Gutachtern die Möglichkeit, eine formelle Anerkennung für ihren in ihrem Beitrag angezeigten Beitrag zu erhalten ORCID Profile.
UKRI war einer der ersten Geldgeber weltweit, der das unterzeichnet hat ORCID Offener Brief für Geldgeberund ist der erste Geldgeber, der dies umsetzt ORCID Anerkennung von Gutachtern in seinem Finanzierungssystem. Diese Initiative zeigt unser Engagement für Peer-Review und Umsetzung ORCID in unseren Fördersystemen gem ORCID Best-Practice-Richtlinien für Geldgeber.
Hier begleite ich Sie durch unsere Reise bei der Umsetzung ORCID Anerkennung der Gutachter und Weitergabe der gewonnenen Erkenntnisse. Zusammenfassend lässt sich sagen, dass die Hauptherausforderung bei der Implementierung dieser Funktion nicht in der Systementwicklung lag, sondern in den sorgfältigen Überlegungen zu Datenschutz, Richtlinien, Benutzer- und Systemanforderungen sowie der Prozesslandkarte.
Anerkennung des Beitrags der UKRI-Gutachter, ohne unsere Bewertungsgrundsätze zu beeinträchtigen
UKRI schätzt den Aufwand, den Gutachter bei der Bewertung von Anträgen für uns leisten, was ein wesentlicher Bestandteil des Finanzierungsprozesses ist. Wir verlassen uns stark auf die Zeit und das Fachwissen der Gutachter, um unseren Prüfprozess zu unterstützen und uns dabei zu helfen, die besten Finanzierungsentscheidungen zu treffen. Jedes Jahr führen Experten Zehntausende Gutachten für UKRI durch.
Da jedoch Anonymität und Vertraulichkeit zwei der Grundsätze sind UKRI-Grundsätze zur Bewertung und Entscheidungsfindung, der Beitrag unserer Gutachter wird nicht offiziell anerkannt. Daher prüfen wir derzeit mehrere Initiativen, um den Beitrag von UKRI-Prüfern besser anzuerkennen, zu belohnen und Anreize zu schaffen.
ORCID Die Gutachteranerkennung bietet uns eine sichtbare und überprüfbare Möglichkeit, unsere Gutachter öffentlich für ihre Arbeit zu würdigen, ohne die Vertraulichkeit und Anonymität des UKRI-Gutachtprozesses zu gefährden.
ORCID Die Gutachteranerkennung kann Gutachtern auch als effektiver Bezugspunkt dienen, um die Anzahl der Gutachten zu verfolgen, die sie im Laufe der Zeit für UKRI durchgeführt haben, was bei der Beantragung einer Beförderung und Finanzierung nützlich sein wird.
Politische Überlegungen
Wir begannen mit politischen Fragen und entschieden, wer anspruchsberechtigt sein sollte ORCID Überprüfen Sie die Credits. Nach mehreren Gesprächsrunden mit relevanten Interessenvertretern im gesamten UKRI haben wir uns entschieden ORCID Rezensionsgutschriften sind nur verfügbar, wenn:
- Der Rezensent gibt über Je-S eine „brauchbare Bewertung“ ab
- Die Überprüfung wird nach dem 23. November 2020 (dem Datum der Umsetzung) eingereicht.
- Über den geprüften Antrag wurde eine Förderentscheidung getroffen
Das klingt einfach, aber es gibt mehrere Details, die die Komplexität erhöhen.
Die Funktion ist im Je-S-System erst ab dem 23. November 2020 verfügbar. Daher sind nur Rezensenten berechtigt, Bewertungen über Je-S nach diesem Datum einzureichen ORCID Überprüfen Sie die Credits. UKRI ist eine relativ neue Organisation mit neun verschiedenen Räten, die sich unabhängig voneinander entwickelt haben, bis sie 2018 zusammengeführt wurden. Aus diesem Grund verfügen unsere Räte derzeit über separate Finanzierungssysteme: Die sieben Forschungsräte und andere bereichsübergreifende Programme nutzen Je-S; während Innovate UK IFS verwendet.
As ORCID Die Anerkennung von Gutachtern ist nur in Je-S implementiert. Über das IFS von Innovate UK eingereichte Bewertungen, historische Bewertungen und Bewertungen außerhalb des Systems sind derzeit nicht zum Empfang berechtigt ORCID Überprüfen Sie die Credits von UKRI. Wir werden jedoch die potenziellen Vorteile einer Ausweitung dieser Funktion auf die künftig bei Innovate UK eingereichten Bewerbungen prüfen.
Über 97 % der zwischen 2014 und 2018 über Je-S eingegangenen Bewertungen wurden als „brauchbar“ eingestuft. Dies sind die Bewertungen, die im Bewertungs- und Entscheidungsprozess verwendet werden. Den Gutachtern ist jedoch der Klassifizierungsstatus ihrer Rezension im UKRI-System nicht bekannt. Obwohl wir immer noch nicht in der Lage sind, einzelne Prüfer über den Status ihrer Bewertung zu informieren, haben wir die Liste der Indikatoren veröffentlicht, die unsere Mitarbeiter zur Klassifizierung von Bewertungen verwenden. Wir hoffen, dass dies unseren Rezensenten als nützlicher Leitfaden bei der Abgabe hochwertiger Bewertungen dienen wird. Wir veröffentlichen auch, warum eine Bewertung wahrscheinlich als „unbrauchbar“ eingestuft wird.
Eine der wichtigsten politischen Überlegungen bestand darin, sicherzustellen, dass die Vertraulichkeit und Anonymität unseres Überprüfungsprozesses nicht gefährdet wird. Daher ist die Übertragung von Daten von Je-S an ORCID enthält keine Einzelheiten zum einzelnen Antrag, das vollständige Datum der Überprüfung oder den Namen des UKRI-Rats, der die Überprüfung herausgegeben hat. Darüber hinaus werden wir nicht ausstellen ORCID Prüfung der Anrechnungspunkte, bis eine Förderentscheidung über den Antrag getroffen wurde. Nur die folgenden Informationen werden im angezeigt ORCID Aufzeichnungen:
- Rolle: Gutachter
- Aktivitätstyp: Rezension
- Überprüfungsdatum: Jahr (z. B. 2020)
- Einberufende Organisation: UK Research and Innovation (Swindon, GB)
- Quelle: UKRI Systems
Datenschutzanforderungen
UKRI ist der Datenverantwortliche für alle Informationen, die das UKRI-System an sendet ORCID Profil der Je-S-Benutzer. Daher senden wir die Bewertungsinformationen an ORCID im Namen unserer Gutachter, basierend auf deren Einwilligung. Das bedeutet, dass unsere Gutachter entscheiden, ob sie UKRI die Erlaubnis erteilen oder verweigern, ihnen Bewertungsinformationen zu senden ORCID Konto. Unsere Prüfer sollten die Berechtigung jederzeit über ihr Je-S-Konto aktivieren oder deaktivieren können. Dies gibt unseren Rezensenten die Kontrolle darüber, welche Bewertungen sie erhalten ORCID Bonität überprüfen. Unser System sendet nur ORCID Rezensionsgutschriften an jene Rezensenten, die in ihrem Je-S-Profil ausdrücklich Berechtigungen erteilt haben.
ORCID Benutzer haben die volle Kontrolle über die Verwaltung der in ihnen angezeigten Informationen ORCID Profil. Als solche, ORCID Benutzer können Informationen sofort löschen oder deren Sichtbarkeit ändern ORCID Profil. Als Datenverantwortlicher muss UKRI auch in der Lage sein, diese Anfrage anzunehmen ORCID Benutzer können von UKRI generierte Informationen von ihren löschen ORCID Profil. Aus diesem Grund haben wir einen internen Prozess zur Verwaltung dieser Anfragen entwickelt und unseren Prüfern empfohlen, sich per E-Mail an unser Je-S-Hilfeteam zu wenden, um die Löschung von UKRI-Daten aus ihrem Team zu beantragen ORCID Konto.
Prozesslandkarte und Systementwicklung
Alle über Je-S übermittelten Informationen – unser Front-End-System, über das Benutzer mit UKRI interagieren – werden im internen Backoffice-System gespeichert, auf das die Benutzer nicht zugreifen können. Das interne System umfasst Informationen zu Bewertungen, die über Je-S abgegeben wurden. Zum Senden der Rezensionsnachweise an ORCID, muss der Prozess vom internen System aus starten.
Wir haben die Prozesskarte so gestaltet, dass, sobald die Kriterien (aufgelistet unter „Richtlinienüberlegungen“) erfüllt sind, die Bewertungsgutschrift von unserem internen System an Je-S gesendet wird. Sobald die Bewertungsgutschrift in Je-S vorliegt, wird die Bewertungsgutschrift nur noch ausgestellt ORCID, wenn der Gutachter dem UKRI ausdrücklich die Erlaubnis gibt, diese Bewertungsinformationen an ihn zu senden ORCID Profil. Der Rezensent muss seine verlinken ORCID iD mit ihrem Je-S-Konto zu empfangen ORCID Überprüfen Sie die Credits.
Eine Sache, die wir zu Beginn des Projekts nicht bedacht hatten, ist die Anforderung von ORCID um die Bewertungsinformationen auf einer externen Webseite von UKRI anzuzeigen. Die Idee war, dass die Überprüfungsaktivität, wie auf angezeigt ORCID, würde mit der Aufzeichnung der Überprüfungsaktivität auf einer UKRI-eigenen Webseite verknüpft. Wir erkannten, dass diese Anforderung die Systementwicklung, den Datenschutz und die Richtlinienanforderungen erheblich erschweren würde. Unser Ziel war es, die Bewertungsanerkennung sichtbar zu machen ORCID und nicht auf der UKRI-Webseite. Deshalb haben wir darum gebeten ORCID zu erwägen, UKRI von dieser Anforderung zu befreien – und ORCID einverstanden!
Nachdem alle diese Details festgelegt waren, begann der Aufbau des Systems. Unten können Sie sehen, wie die Bewertungsinformationen von UKRI-Systemen dorthin fließen ORCID.
Sytemimplementierung
Schließlich erforderte die Implementierung der Funktion die Entwicklung von Leitlinien und Informationen für die Mitglieder der Forschungs- und Innovationsgemeinschaft, einschließlich Gutachter. Im Rahmen der Umsetzung haben wir Webseiteninhalte entwickelt ORCID Anerkennung als Gutachter, einschließlich FAQs für Rezensenten. Darüber hinaus haben wir innerhalb des UKRI eine interne Kommunikationskampagne durchgeführt und interne FAQs und Foliendecks für unsere Mitarbeiter erstellt.
Eines der wichtigsten Dinge, die es zu berücksichtigen gilt, ist die Art und Weise, wie wir diese Änderungen unseren Prüfern mitteilen. Zu diesem Zweck haben wir unsere Bewertungseinladungs-E-Mail dahingehend geändert, dass die Möglichkeit erwähnt wird, Bewertungsgutschriften über zu erhalten ORCID und Verlinkung zur UKRI-Webseite für weitere Informationen. Wir haben auch eine Mitteilung an alle Benutzer herausgegeben, die ihre Verbindung hergestellt haben ORCID IDs an Je-S, die sie darüber informieren ORCID Rezensentenanerkennung, bevor diese Funktion implementiert wurde.
Während der Entwicklung ist uns das aufgefallen ORCID hatte ihre API (den Code, der verlinkt) aktualisiert ORCID mit Je-S) seit August 2017 und dass die vorherige API nicht über die Funktionalität zum Senden von Bewertungsgutschriften verfügte ORCID. Dies bedeutete, dass unsere Benutzer, die ihre verlinkten ORCID iD mit ihrem Je-S-Konto vor August 2017 nicht in der Lage wären, zu empfangen ORCID Überprüfen Sie die Credits. Damit diese Benutzer empfangen können ORCID Wenn sie Gutschriften überprüfen, müssten sie ihre aktuellen entfernen ORCID Verbinden Sie sich mit Je-S und stellen Sie diese Verbindung wieder her. Aus diesem Grund haben wir einen Prozess zum Entfernen eines entwickelt ORCID Verbindung von unserem System aus, was Je-S-Benutzer jederzeit per E-Mail tun können JeSHelp@je-s.ukri.org. Darüber hinaus haben wir die betroffenen Benutzer mehrere Wochen vor der Implementierung der Funktion über diese Anforderung informiert.
Benutzer wurden auch per E-Mail benachrichtigt, sobald die ORCID Die Funktion zur Anerkennung von Rezensenten wurde in unserem System eingeführt.
Zusammenfassung
In diesem Blogbeitrag habe ich versucht, einen Überblick über den Ansatz des UKRI bei der Umsetzung zu geben ORCID Anerkennung als Gutachter. UKRI engagiert sich für die Umsetzung ORCID in Übereinstimmung mit der Best Practice für Geldgeber, und wir freuen uns, die gewonnenen Erkenntnisse mit anderen Geldgebern zu teilen, die die Implementierung dieser Funktion in Betracht ziehen. Wie ich bereits erwähnt habe, waren die wichtigsten Dinge, die wir bei der Einführung dieser Funktion berücksichtigen mussten, Richtlinienentscheidungen, Datenschutzanforderungen, Systemanforderungen, Prozessabbildung und schließlich die Systemerstellung und -implementierung.