這是一篇客座文章 魯佩什·波迪亞爾, 英國研究與創新 (UKRI) 資助政策主管
展示對同行評審的承諾
英國研究與創新 (UKRI) 最近實施了 ORCID 其資助系統 Je-S 中的審稿人認可功能。 它為 UKRI 審稿人提供了一個選項,以使其對他們的審稿貢獻獲得正式認可。 ORCID 配置文件。
UKRI 是世界上最早簽署該協議的資助者之一 ORCID 給資助者的公開信,並且是第一個實施 ORCID 審稿人在其資助系統中的認可。 這一舉措表明了我們對同行評審和實施的承諾 ORCID 在我們的資金系統中,根據 ORCID 資助者最佳實踐指南.
在這裡,我將帶您了解我們實施 ORCID 審稿人認可並分享經驗教訓。 總之,實現此功能的主要挑戰不在於系統開發,而在於對數據保護、策略、用戶和系統要求以及流程圖的仔細考慮。
在不影響我們的評估原則的情況下認可 UKRI 審稿人的貢獻
UKRI 重視評審員為我們評估申請所做的努力,這是資助過程的重要組成部分。 我們嚴重依賴審閱者的時間和專業知識來支持我們的審閱過程並幫助我們做出最佳的資助決策。 每年,專家都會為 UKRI 進行數以萬計的審查。
但是,由於匿名性和保密性是 UKRI 評估和決策原則,我們的專家審稿人的貢獻並未得到正式認可。 因此,我們目前正在探索多項舉措,以更好地認可、獎勵和激勵 UKRI 評估員的貢獻。
ORCID 審稿人認可為我們提供了一種可見且可驗證的方式來公開讚揚我們的審稿人的工作,而不會影響 UKRI 審查過程的機密性和匿名性。
ORCID 審稿人認可還可以作為審稿人的有效參考點,以跟踪他們在一段時間內為 UKRI 進行的審閱數量,這在申請晉升和資助時非常有用。
政策考慮
我們從政策問題開始,決定誰應該有資格獲得 ORCID 審查學分。 在與 UKRI 的相關利益相關者進行了幾輪接觸後,我們決定 ORCID 評論積分僅在以下情況下可用:
- 評論者通過 Je-S 提交“可用評論”
- 23年2020月XNUMX日(實施之日)後提交審核
- 已對審查的申請作出資助決定
這聽起來很簡單,但有幾個細節增加了複雜性。
該功能僅在 23 年 2020 月 XNUMX 日起在 Je-S 系統中可用。因此,只有在該日期之後通過 Je-S 提交評論的評論者才有資格獲得 ORCID 審查學分。 UKRI 是一個相對較新的組織,有九個不同的委員會,這些委員會獨立發展,直到 2018 年合併。因此,我們的委員會目前擁有獨立的資助系統:七個研究委員會和其他跨領域項目使用 Je-S; 而 Innovate UK 使用 IFS。
As ORCID Reviewer Recognition 僅在 Je-S 中實施,通過 Innovate UK 的 IFS 提交的評論、歷史評論和系統外評論目前沒有資格接收 ORCID 審查來自 UKRI 的學分。 但是,我們將在未來審查將此功能擴展到提交給 Innovate UK 的應用程序的潛在好處。
97-2014 年間通過 Je-S 收到的評論中有超過 2018% 被歸類為“可用”。 這些是用於評估和決策過程的審查。 然而,審稿人不知道他們的審稿在 UKRI 系統中的分類狀態。 雖然我們仍然沒有能力通知個別評論者他們的評論狀態,但我們已經發布了我們的員工用來對評論進行分類的指標列表。 我們希望這將成為我們的評論者提交高質量評論的有用指南。 我們還發布了評論可能被歸類為“無法使用”的原因。
關鍵的政策考慮之一是確保我們審查過程的機密性和匿名性不會受到損害。 因此,將數據從 Je-S 傳輸到 ORCID 不包括個人申請的詳細信息、審查的完整日期或發布審查的 UKRI 委員會的名稱。 此外,我們不會發出 ORCID 審查學分,直到對申請做出資助決定。 只有以下信息會顯示在 ORCID 記錄:
- 角色:審稿人
- 活動類型:回顧
- 審核日期:年份(例如,2020 年)
- 召集機構:英國研究與創新(Swindon,GB)
- 資料來源:UKRI 系統
數據保護要求
UKRI 是 UKRI 系統向其發送的任何信息的數據控制者 ORCID Je-S 用戶的個人資料。 因此,我們將評論信息發送至 ORCID 代表我們的評論者,基於他們的同意。 這意味著我們的審閱者決定是授予還是拒絕 UKRI 向其發送審閱信息的權限。 ORCID 帳戶。 我們的審閱者應該能夠隨時從他們的 Je-S 帳戶打開或關閉權限。 這使我們的評論者可以控制選擇他們收到的評論 ORCID 審查信用。 我們的系統只會發送 ORCID 對在其 Je-S 個人資料中明確授予權限的審閱者的審閱信用。
ORCID 用戶可以完全控制管理顯示在其 ORCID 輪廓。 因此, ORCID 用戶可以立即刪除或更改其信息的可見性 ORCID 輪廓。 作為數據控制者,UKRI 還需要能夠接受來自 ORCID 用戶刪除 UKRI 生成的信息 ORCID 輪廓。 因此,我們制定了一個內部流程來管理這些請求,並且我們已建議我們的審核員通過電子郵件向我們的 Je-S 幫助團隊發送電子郵件,要求從他們的 ORCID 帳戶。
流程圖和系統開發
通過 Je-S(用戶與 UKRI 交互的前端系統)提交的任何信息都存儲在用戶無法訪問的後台內部系統中。 內部系統包括有關通過 Je-S 提交的評論的信息。 將評論積分發送至 ORCID,流程必須從內部系統開始。
我們設計了流程圖,以便一旦滿足標準(列在“政策注意事項”下),審核信用就會從我們的內部系統發送到 Je-S。 一旦評論信用在 Je-S 中,評論信用只會發給 ORCID, 如果評論者明確允許 UKRI 將此評論信息發送給他們 ORCID 輪廓。 審稿人必須鏈接他們的 ORCID iD 用他們的 Je-S 帳戶接收 ORCID 審查學分。
我們在項目開始時沒有考慮的一件事是來自 ORCID 將評論信息顯示到 UKRI 擁有的面向外部的網頁。 這個想法是審查活動,如顯示 ORCID,將鏈接到 UKRI 擁有的網頁上的審查活動記錄。 我們意識到這一要求會使系統開發、數據保護和政策要求變得非常複雜。 我們的目標是通過顯示評論認可 ORCID 而不是在 UKRI 網頁上。 因此,我們要求 ORCID 考慮免除 UKRI 的這一要求——並且 ORCID 同意!
在繪製出所有這些細節之後,系統的構建就開始了。 下面,您可以看到評論信息如何從 UKRI 系統流向 ORCID.
執行
最後,該功能的實施需要為研究和創新社區的成員(包括審閱者)制定指南和信息。 作為實施的一部分,我們開發了網頁內容 ORCID 審稿人認可,包括針對審閱者的常見問題解答。 此外,我們還在 UKRI 內部開展了一項內部溝通活動,為我們的員工創建內部常見問題解答和幻燈片。
需要考慮的最重要的事情之一是我們如何將這些更改傳達給我們的審閱者。 為此,我們修改了我們的評論邀請電子郵件,以提及通過以下方式獲得評論積分的選項 ORCID 並鏈接到 UKRI 網頁以獲取更多信息。 我們還向所有已連接他們的用戶發出了信息 ORCID 給 Je-S 的 ID 通知他們 ORCID 實施此功能之前的審閱者識別。
在開發過程中,我們注意到 ORCID 已經更新了他們的 API(鏈接的代碼 ORCID 與 Je-S)自 2017 年 XNUMX 月以來,並且之前的 API 沒有將評論積分發送到的功能 ORCID. 這意味著我們的用戶鏈接了他們的 ORCID iD 在 2017 年 XNUMX 月之前使用他們的 Je-S 帳戶,將無法收到 ORCID 審查學分。 為了讓這些用戶收到 ORCID 審查學分,他們將不得不刪除他們當前的 ORCID 與 Je-S 鏈接並重新建立此連接。 因此,我們設計了一個過程來去除 ORCID 從我們的系統連接,Je-S 用戶可以隨時通過電子郵件進行連接 JeSHelp@je-s.ukri.org. 此外,我們在該功能實施前幾週將這一要求通知了受影響的用戶。
用戶也會收到電子郵件通知 ORCID 審稿人識別功能在我們的系統中上線。
結論
在這篇博文中,我試圖概述 UKRI 實施 ORCID 審稿人認可。 UKRI 致力於實施 ORCID 根據資助者的最佳實踐,我們很高興與其他正在考慮實施此功能的資助者分享經驗教訓。 正如我之前提到的,在採用此功能時,我們必須考慮的最重要的事情是策略決策、數據保護要求、系統要求、流程映射,最後是系統構建和實施。