これは、ゲストの投稿です ルペシュ・パウディアル、資金調達政策リーダー、英国研究技術革新機構(UKRI)
ピアレビューへの取り組みの実証
英国の研究とイノベーション (UKRI)は最近実装しました ORCID 資金調達システムであるJe-Sのレビューア認識機能。 UKRIの査読者に、彼らの査読の貢献に対して正式な承認を得るオプションを提供します。 ORCID プロファイル。
UKRIは、世界で最初に署名した資金提供者のXNUMX人でした。 ORCID 資金提供者向けの公開書簡、および実装する最初の資金提供者です ORCID その資金調達システムにおける査読者の認識。 このイニシアチブは、ピアレビューと実装への取り組みを示しています ORCID に従って私たちの資金調達システムで ORCID 資金提供者向けのベストプラクティスガイドライン.
ここでは、実装の旅をご案内します。 ORCID レビューアの認識と学んだ教訓の共有。 要約すると、この機能を実装する際の主な課題は、システム開発ではなく、データ保護、ポリシー、ユーザーとシステムの要件、およびプロセスマップに関する慎重な検討事項でした。
評価の原則を損なうことなくUKRIレビューアの貢献を認める
UKRIは、資金提供プロセスの重要な部分である、私たちの申請の評価に向けてレビューアが貢献する努力を高く評価しています。 私たちは、レビュープロセスをサポートし、最善の資金調達決定を下すために、レビュー担当者の時間と専門知識に大きく依存しています。 専門家は毎年、UKRIに対して何万ものレビューを実施しています。
ただし、匿名性と機密性がXNUMXつの原則であるため、 UKRIの評価と意思決定の原則、専門家による査読者の貢献は正式には認められていません。 したがって、私たちは現在、UKRI評価者の貢献をよりよく認識し、報酬を与え、インセンティブを与えるためのいくつかのイニシアチブを模索しています。
ORCID レビューアの承認は、UKRIレビュープロセスの機密性と匿名性を損なうことなく、レビューアの仕事を公に信用するための目に見える検証可能な方法を提供します。
ORCID レビューアの承認は、レビュー担当者がUKRIに対して実施したレビューの数を追跡するための効果的な参照ポイントとしても機能します。これは、プロモーションや資金提供の申請に役立ちます。
ポリシーに関する考慮事項
誰が取得する資格があるかを決定するポリシーの質問から始めました ORCID クレジットを確認します。 UKRI全体の関連する利害関係者との数回の関与の後、私たちは決定しました ORCID レビュークレジットは、次の場合にのみ利用できます。
- レビュー担当者は、Je-Sを介して「使用可能なレビュー」を送信します
- レビューは23年2020月XNUMX日(実施日)以降に提出されます
- 審査された申請書について資金提供の決定がなされました
これは単純に聞こえますが、複雑さを増すいくつかの詳細があります。
この機能は、23年2020月XNUMX日からJe-Sシステムでのみ利用可能です。したがって、その日以降にJe-Sを介してレビューを送信したレビューアのみが取得する資格があります。 ORCID クレジットを確認します。 UKRIは比較的新しい組織であり、2018つの異なる評議会があり、XNUMX年に統合されるまで独立して発展しました。このため、現在、私たちの評議会には個別の資金提供システムがあります。XNUMXつの研究評議会とその他の分野横断的なプログラムはJe-Sを使用しています。 InnovateUKはIFSを使用しています。
As ORCID レビューアの認識はJe-Sでのみ実装されており、Innovate UKのIFSを通じて提出されたレビュー、過去のレビュー、およびシステム外のレビューは現在、受け取る資格がありません。 ORCID UKRIからのクレジットを確認します。 ただし、将来的にInnovateUKに提出されるアプリケーションにこの機能を拡張することの潜在的な利点を確認します。
97年から2014年の間にJe-Sを介して受け取ったレビューの2018%以上が、「使用可能」として分類されました。 これらは、評価および意思決定プロセスで使用されるレビューです。 ただし、レビュー担当者は、UKRIシステムでのレビューの分類ステータスを認識していません。 個々のレビュー担当者にレビューのステータスを通知する機能はまだありませんが、スタッフがレビューを分類するために使用する指標のリストを公開しています。 これが、高品質のレビューを提出する際のレビュー担当者にとって有用なガイドとして役立つことを願っています。 また、レビューが「使用不可」に分類される可能性が高い理由も公開しています。
ポリシーに関する重要な考慮事項のXNUMXつは、レビュープロセスの機密性と匿名性が損なわれないようにすることでした。 したがって、Je-Sからへのデータの転送 ORCID 個々の申請の詳細、レビューの完全な日付、またはレビューを発行したUKRI評議会の名前は含まれていません。 また、発行しません ORCID アプリケーションで資金調達の決定が下されるまで、クレジットを確認します。 以下の情報のみがに表示されます ORCID 記録:
- 役割:レビュアー
- アクティビティタイプ:レビュー
- 審査日:年(例、2020年)
- 開催組織:UK Research and Innovation(Swindon、GB)
- 出典:UKRI Systems
データ保護要件
UKRIは、UKRIシステムが ORCID Je-Sユーザーのプロフィール。 そのため、レビュー情報をに送信しています ORCID レビューアに代わって、彼らの同意に基づいて。 これは、レビュー担当者がレビュー情報を送信する許可をUKRIに付与するか拒否するかを決定することを意味します ORCID アカウント。 レビュー担当者は、Je-Sアカウントからいつでも許可をオンまたはオフにできるはずです。 これにより、レビュー担当者は、受け取るレビューを選択することができます。 ORCID クレジットを確認します。 私たちのシステムは送信するだけです ORCID Je-Sプロファイルで許可を明示的に付与したレビューアにクレジットをレビューします。
ORCID ユーザーは、自分に表示される情報の管理を完全に制御できます ORCID プロフィール。 など、 ORCID ユーザーは、情報の可視性を即座に削除または変更できます ORCID プロフィール。 データ管理者として、UKRIはこの要求を以下から受け入れることができる必要があります。 ORCID UKRIが生成した情報を自分のユーザーから削除するユーザー ORCID プロフィール。 そのため、これらのリクエストを管理するための内部プロセスを開発し、レビュー担当者にJe-Sヘルプチームにメールを送信して、UKRIデータの削除をリクエストするようアドバイスしました。 ORCID アカウント。
プロセスマップとシステム開発
Je-S(ユーザーがUKRIと対話するフロントエンドシステム)を介して送信された情報はすべて、ユーザーがアクセスできないバックオフィスの内部システムに保存されます。 内部システムには、Je-Sを通じて提出されたレビューに関する情報が含まれています。 レビュークレジットをに送信するには ORCID、プロセスは内部システムから開始する必要があります。
基準(「ポリシーの考慮事項」にリストされている)が満たされると、レビュークレジットが内部システムからJe-Sに送信されるようにプロセスマップを設計しました。 レビュークレジットがJe-Sに入ると、レビュークレジットは次の宛先にのみ発行されます。 ORCID、レビュー担当者がUKRIにこのレビュー情報を送信することを明示的に許可した場合 ORCID プロフィール。 レビューアは彼らをリンクする必要があります ORCID iD Je-Sアカウントで受け取る ORCID クレジットを確認します。
プロジェクトの開始時に考慮していなかったことのXNUMXつは、 ORCID UKRIが所有する外部向けのWebページにレビュー情報を表示します。 アイデアは、に表示されるように、レビュー活動でした ORCIDは、UKRIが所有するWebページのレビュー活動の記録にリンクされます。 この要件により、システム開発、データ保護、およびポリシー要件が大幅に複雑になることがわかりました。 私たちの目的は、レビューの認識が表示されることでした ORCID UKRIのウェブページにはありません。 したがって、私たちは要求しました ORCID UKRIをこの要件から免除することを検討する-そして ORCID 同意した!
システムの構築は、これらすべての詳細をマッピングした後に開始されました。 以下に、レビュー情報がUKRIシステムからにどのように流れるかを示します。 ORCID.
製品の導入
最後に、この機能の実装には、レビュー担当者を含む研究およびイノベーションコミュニティのメンバー向けのガイダンスと情報の開発が必要でした。 実装の一環として、次のWebページコンテンツを開発しました。 ORCID レビューアの認識、レビュー担当者向けのFAQを含みます。 さらに、UKRI内で社内コミュニケーションキャンペーンを実施し、スタッフ向けの社内FAQとスライドデッキを作成しました。
考慮すべき最も重要なことのXNUMXつは、これらの変更をレビュー担当者にどのように伝達するかです。 これを行うために、レビュー招待メールを修正して、次の方法でレビュークレジットを取得するオプションについて言及しました。 ORCID 詳細については、UKRIのWebページにリンクしてください。 また、接続しているすべてのユーザーに通信を発行しました ORCID Je-SへのiDを通知します ORCID この機能が実装される前のレビューアの認識。
開発が行われている間、私たちはそれに気づきました ORCID API(リンクするコード)を更新しました ORCID 2017年XNUMX月以降、以前のAPIにはレビュークレジットを送信する機能がありませんでした。 ORCID。 これは、 ORCID iD 2017年XNUMX月より前のJe-Sアカウントでは、 ORCID クレジットを確認します。 これらのユーザーが受け取るために ORCID クレジットを確認するには、現在のクレジットを削除する必要があります ORCID Je-Sとリンクし、この接続を再確立します。 したがって、私たちは削除するプロセスを設計しました ORCID Je-Sユーザーがメールでいつでもできるシステムからの接続 JeSHelp@je-s.ukri.org。 さらに、機能が実装される数週間前に、影響を受けるユーザーにこの要件を通知しました。
ユーザーはまた、一度電子メールで通知されました ORCID レビューア認識機能がシステムに導入されました。
まとめ
このブログ投稿では、UKRIの実装へのアプローチの概要を説明しようとしました。 ORCID レビューアの認識。 UKRIは実装に取り組んでいます ORCID 資金提供者のベストプラクティスに従って、この機能の実装を検討している他の資金提供者と学んだ教訓を共有できることをうれしく思います。 前述したように、この機能を採用する際に考慮しなければならない最も重要なことは、ポリシーの決定、データ保護要件、システム要件、プロセスマッピング、そして最後にシステムの構築と実装です。