Это гость сообщение Рупеш Паудьял, Руководитель отдела политики финансирования, Исследования и инновации Великобритании (UKRI)
Демонстрация приверженности экспертной оценке
Исследования и инновации в Великобритании (UKRI) недавно внедрила ORCID Функция «Признание рецензента» в системе финансирования Je-S. Это дает рецензентам UKRI возможность получить официальное признание за их вклад в рецензирование, отображаемый в их ORCID профилей.
UKRI был одним из первых спонсоров в мире, подписавших ORCID Открытое письмо для спонсоров, и является первым спонсором, внедрившим ORCID Признание рецензента в системе финансирования. Эта инициатива демонстрирует нашу приверженность экспертной оценке и внедрению ORCID в наших системах финансирования в соответствии с ORCID рекомендации по передовой практике для спонсоров.
Здесь я проведу вас через наше путешествие по реализации ORCID Признание рецензента и обмен извлеченными уроками. Таким образом, основная проблема при реализации этой функции заключалась не в разработке системы, а в тщательном рассмотрении защиты данных, политики, требований пользователей и системы, а также карты процессов.
Признание вклада рецензентов UKRI без ущерба для наших Принципов оценки
UKRI ценит усилия, которые рецензенты вносят в оценку заявок для нас, что является важной частью процесса финансирования. Мы в значительной степени полагаемся на время и опыт рецензентов, чтобы поддержать наш процесс проверки и помочь нам принять оптимальные решения о финансировании. Ежегодно эксперты проводят для UKRI десятки тысяч обзоров.
Однако, поскольку анонимность и конфиденциальность являются двумя принципами в Принципы UKRI оценки и принятия решений, вклад наших экспертов-рецензентов официально не признан. Поэтому в настоящее время мы изучаем несколько инициатив, направленных на лучшее признание, вознаграждение и стимулирование вклада оценщиков UKRI.
ORCID Признание рецензента предоставляет нам видимый и поддающийся проверке способ публично отдать должное нашим рецензентам за их работу без ущерба для конфиденциальности и анонимности процесса рецензирования UKRI.
ORCID Признание рецензента также может служить для рецензентов эффективным ориентиром для отслеживания количества рецензий, которые они выполнили для UKRI с течением времени, что будет полезно, когда дело доходит до подачи заявки на продвижение по службе и финансирования.
Соображения политики
Мы начали с вопросов политики, решающих, кто должен иметь право на получение ORCID просмотреть кредиты. После нескольких раундов взаимодействия с соответствующими заинтересованными сторонами в UKRI мы решили ORCID Кредиты на обзор будут доступны, только если:
- Рецензент отправляет «полезный обзор» через Je-S.
- Отзыв подается после 23 ноября 2020 г. (дата реализации).
- По рассмотренной заявке принято решение о финансировании
Это звучит просто, но есть несколько деталей, которые добавляют сложности.
Эта функция доступна только в системе Je-S с 23 ноября 2020 г. Таким образом, только те рецензенты, которые отправят отзывы через Je-S после этой даты, смогут получить ORCID просмотреть кредиты. UKRI - относительно новая организация с девятью различными советами, которые развивались независимо, пока они не были собраны вместе в 2018 году. Из-за этого наши советы в настоящее время имеют отдельные системы финансирования: семь исследовательских советов и другие сквозные программы используют Je-S; в то время как Innovate UK использует IFS.
As ORCID Признание рецензента реализовано только в Je-S, обзоры, представленные через IFS Innovate UK, исторические обзоры и внесистемные обзоры в настоящее время не имеют права на получение ORCID просмотреть кредиты от UKRI. Однако мы рассмотрим потенциальные преимущества расширения этой функции для приложений, представленных в Innovate UK в будущем.
Более 97% отзывов, полученных в период с 2014 по 2018 год через Je-S, были классифицированы как «пригодные для использования». Это обзоры, которые используются в процессе оценки и принятия решений. Однако рецензенты не знают о статусе классификации их рецензий в системе UKRI. Хотя у нас по-прежнему нет возможности информировать отдельных рецензентов о статусе их рецензии, мы опубликовали список показателей, которые наши сотрудники используют для классификации обзоров. Мы надеемся, что это послужит полезным руководством для наших рецензентов при отправке качественных отзывов. Мы также публикуем, почему обзор может быть классифицирован как «непригодный для использования».
Одним из ключевых соображений политики было обеспечение того, чтобы конфиденциальность и анонимность нашего процесса проверки не были нарушены. Следовательно, передача данных с Je-S на ORCID не включает подробные сведения об индивидуальной заявке, полную дату рассмотрения или название Совета UKRI, выпустившего отзыв. Кроме того, мы не выдадим ORCID просматривать кредиты до тех пор, пока по заявке не будет принято решение о финансировании. Только указанная ниже информация будет отображаться в ORCID записей:
- Роль: Рецензент
- Тип деятельности: Обзор
- Дата обзора: Год (например, 2020)
- Созывающая организация: UK Research and Innovation (Суиндон, Великобритания)
- Источник: UKRI Systems.
Требования к защите данных
UKRI является контролером данных для любой информации, которую система UKRI отправляет в ORCID профиль пользователей Je-S. Поэтому мы отправляем информацию об обзоре по адресу ORCID от имени наших рецензентов с их согласия. Это означает, что наши рецензенты решают, предоставить или отказать UKRI в разрешении на отправку информации о рецензировании в их ORCID учетная запись. Наши рецензенты должны иметь возможность включить или отключить разрешение в любое время из своей учетной записи Je-S. Это дает нашим рецензентам возможность выбирать отзывы, за которые они получают ORCID просмотреть кредит. Наша система отправит только ORCID просмотреть кредиты тем рецензентам, которые явно предоставили разрешения в своем профиле Je-S.
ORCID пользователи имеют полный контроль над информацией, отображаемой в их ORCID профиль. Как таковой, ORCID пользователи могут мгновенно удалить или изменить видимость информации из своих ORCID профиль. Как контролер данных UKRI также должна иметь возможность принимать этот запрос от ORCID пользователей, чтобы удалить информацию, созданную UKRI, из своих ORCID профиль. Поэтому мы разработали внутренний процесс для управления этими запросами, и мы посоветовали нашим рецензентам отправить электронное письмо в нашу службу поддержки Je-S, чтобы запросить удаление данных UKRI из их ORCID счет.
Карта процессов и разработка системы
Любая информация, отправляемая через Je-S - нашу интерфейсную систему, в которой пользователи взаимодействуют с UKRI, - хранится во внутренней системе бэк-офиса, которая недоступна для пользователей. Внутренняя система включает информацию об обзорах, представленных через Je-S. Чтобы отправить кредиты обзора на ORCID, процесс должен начинаться из внутренней системы.
Мы разработали карту процесса таким образом, чтобы после выполнения критериев (перечисленных в разделе «Соображения по поводу политики») кредит на рассмотрение отправлялся из нашей внутренней системы в Je-S. Как только кредит на обзор поступает в Je-S, кредит на обзор выдается только ORCID, если рецензент дает явное разрешение UKRI на отправку этой рецензии в их ORCID профиль. Рецензент должен связать свои ORCID iD со своей учетной записью Je-S, чтобы получать ORCID просмотреть кредиты.
Одна вещь, которую мы не учли в начале проекта, - это требование от ORCID для отображения информации обзора на внешней веб-странице, принадлежащей UKRI. Идея заключалась в том, чтобы обзорная активность, отображаемая на ORCID, будет связан с записью о проверке на веб-странице, принадлежащей UKRI. Мы понимали, что это требование значительно усложнит разработку системы, защиту данных и требования политик. Наша цель заключалась в том, чтобы признание отзывов отображалось через ORCID а не на веб-странице UKRI. Поэтому мы запросили ORCID рассмотреть возможность освобождения UKRI от этого требования - и ORCID согласовано!
Построение системы началось после того, как все эти детали были обозначены. Ниже вы можете увидеть, как информация обзора перетекает из систем UKRI в ORCID.
Реализация
Наконец, реализация этой функции потребовала разработки руководств и информации для членов исследовательского и инновационного сообщества, включая рецензентов. В рамках реализации мы разработали контент веб-страницы на ORCID Признание рецензента, включая часто задаваемые вопросы, предназначенные для рецензентов. Кроме того, мы также провели внутреннюю коммуникационную кампанию в UKRI, создав внутренние часто задаваемые вопросы и слайды для наших сотрудников.
Одна из самых важных вещей, которую следует учитывать, - это то, как мы сообщаем об этих изменениях нашим рецензентам. Для этого мы изменили наше электронное письмо с приглашением на проверку, чтобы упомянуть возможность получения баллов для проверки через ORCID и ссылку на веб-страницу UKRI для получения дополнительной информации. Мы также отправили сообщение всем пользователям, которые подключили свои ORCID идентификаторы для Je-S, информирующие их о ORCID Признание рецензента до того, как эта функция была реализована.
Во время разработки мы заметили, что ORCID обновили свой API (код, который связывает ORCID с Je-S) с августа 2017 года, и что в предыдущем API не было функции отправки отзывов на ORCID. Это означало, что наши пользователи, которые связали свои ORCID iD со своей учетной записью Je-S до августа 2017 г. не сможет получать ORCID просмотреть кредиты. Чтобы эти пользователи получили ORCID просмотреть кредиты, им придется удалить текущие ORCID установить связь с Je-S и восстановить это соединение. Поэтому мы разработали процесс удаления ORCID подключение из нашей системы, которое пользователи Je-S могут сделать в любое время по электронной почте JeSHelp@je-s.ukri.org. Кроме того, мы уведомили затронутых пользователей об этом требовании за несколько недель до внедрения функции.
Пользователи также были уведомлены по электронной почте после того, как ORCID В нашей системе запущена функция распознавания рецензентов.
Заключение
В этом сообщении в блоге я попытался представить обзор подхода UKRI к реализации ORCID Признание рецензента. UKRI стремится к реализации ORCID в соответствии с передовой практикой для спонсоров, и мы рады поделиться извлеченными уроками с другими спонсорами, которые рассматривают возможность внедрения этой функции. Как я упоминал ранее, наиболее важными вещами, которые нам приходилось учитывать при внедрении этой функции, являются решения о политике, требования к защите данных, системные требования, отображение процессов и, наконец, построение и внедрение системы.