To jest post gościnny Rupesz Paudyal, kierownik ds. polityki finansowania, badania i innowacje w Wielkiej Brytanii (UKRI)
Wykazywanie zaangażowania w recenzowanie
Badania i innowacje w Wielkiej Brytanii (UKRI) niedawno wdrożyła ORCID Funkcja uznania recenzenta w swoim systemie finansowania, Je-S. Zapewnia recenzentom UKRI możliwość uzyskania formalnego uznania ich wkładu w recenzję, wyświetlanego w ich ORCID profile.
UKRI był jednym z pierwszych sponsorów na świecie, który podpisał ORCID List otwarty do darczyńcówi jest pierwszym podmiotem finansującym, który wdraża ORCID Uznanie recenzenta w swoim systemie finansowania. Inicjatywa ta pokazuje nasze zaangażowanie w recenzowanie i wdrażanie ORCID w naszych systemach finansowania zgodnie z ORCID wytyczne dotyczące najlepszych praktyk dla podmiotów finansujących.
Tutaj przeprowadzę Cię przez naszą podróż we wdrażaniu ORCID Recenzent Uznanie i dzielenie się zdobytymi doświadczeniami. Podsumowując, głównym wyzwaniem we wdrażaniu tej funkcji nie było opracowanie systemu, ale raczej staranne rozważenie ochrony danych, polityki, wymagań użytkowników i systemu oraz mapy procesów.
Uznanie wkładu recenzentów UKRI bez uszczerbku dla naszych zasad oceny
UKRI docenia wysiłek wkładany przez recenzentów w ocenę wniosków dla nas, co jest istotną częścią procesu finansowania. W dużym stopniu polegamy na czasie i wiedzy recenzentów, którzy wspierają nasz proces recenzji i pomagają nam podejmować najlepsze decyzje dotyczące finansowania. Każdego roku eksperci przeprowadzają dla UKRI dziesiątki tysięcy recenzji.
Jednak ze względu na to, że anonimowość i poufność to dwie z zasad w UKRI Zasady oceny i podejmowania decyzji, wkład naszych recenzentów-ekspertów nie jest formalnie uznawany. Dlatego obecnie badamy kilka inicjatyw, aby lepiej uznawać, nagradzać i motywować wkład asesorów UKRI.
ORCID Uznanie recenzentów zapewnia nam widoczny i weryfikowalny sposób publicznego uznania naszych recenzentów za ich pracę, bez narażania na szwank poufności i anonimowości procesu recenzji UKRI.
ORCID Uznanie recenzentów może również działać jako skuteczny punkt odniesienia dla recenzentów, aby śledzić liczbę recenzji, które wykonali dla UKRI w czasie, co będzie przydatne, jeśli chodzi o ubieganie się o awans i finansowanie.
Zagadnienia dotyczące polityki
Zaczęliśmy od pytań dotyczących zasad decydujących o tym, kto powinien kwalifikować się do otrzymania ORCID przeglądać kredyty. Po kilku rundach współpracy z odpowiednimi zainteresowanymi stronami z UKRI zdecydowaliśmy ORCID punkty recenzji będą dostępne tylko wtedy, gdy:
- Recenzent przesyła „recenzję nadającą się do użytku” za pośrednictwem Je-S
- Opinia składana jest po 23 listopada 2020 r. (termin realizacji)
- W sprawie rozpatrzonego wniosku podjęto decyzję o dofinansowaniu
Brzmi to prosto, ale istnieje kilka szczegółów, które zwiększają złożoność.
Funkcja jest dostępna tylko w systemie Je-S od 23 listopada 2020 r. W związku z tym tylko recenzenci, którzy prześlą recenzje za pośrednictwem Je-S po tej dacie, będą mogli otrzymać ORCID przeglądać kredyty. UKRI to stosunkowo nowa organizacja z dziewięcioma różnymi radami, które ewoluowały niezależnie, aż do ich połączenia w 2018 r. Z tego powodu nasze rady mają obecnie oddzielne systemy finansowania: siedem rad badawczych i inne programy przekrojowe korzystają z Je-S; podczas gdy Innovate UK korzysta z IFS.
As ORCID Uznanie recenzenta jest realizowane tylko w Je-S, recenzje przesłane za pośrednictwem systemu IFS Innovate UK, recenzje historyczne i recenzje poza systemem nie kwalifikują się obecnie do otrzymania ORCID przegląd kredytów z UKRI. Przeanalizujemy jednak potencjalne korzyści płynące z rozszerzenia tej funkcji na aplikacje składane do Innovate UK w przyszłości.
Ponad 97% recenzji otrzymanych w latach 2014-2018 za pośrednictwem Je-S zostało sklasyfikowanych jako „użyteczne”. Są to recenzje, które są wykorzystywane w procesie oceny i podejmowania decyzji. Recenzenci nie są jednak świadomi statusu klasyfikacyjnego ich recenzji w systemie UKRI. Chociaż nadal nie mamy możliwości informowania poszczególnych recenzentów o statusie ich recenzji, opublikowaliśmy listę wskaźników, na podstawie których nasi pracownicy klasyfikują recenzje. Mamy nadzieję, że będzie to przydatny przewodnik dla naszych recenzentów przy przesyłaniu recenzji wysokiej jakości. Publikujemy również powody, dla których recenzja może zostać sklasyfikowana jako „nienadająca się do użytku”.
Jednym z kluczowych aspektów polityki było zapewnienie, że poufność i anonimowość naszego procesu recenzji nie zostaną naruszone. W związku z tym przeniesienie danych z Je-S do ORCID nie zawiera szczegółów dotyczących indywidualnego wniosku, pełnej daty przeglądu ani nazwy Rady UKRI, która wystawiła opinię. Ponadto nie będziemy wydawać ORCID dokonywać przeglądu kredytów do czasu podjęcia decyzji o finansowaniu w sprawie wniosku. Tylko poniższe informacje będą wyświetlane w pliku ORCID dokumentacja:
- Rola: Recenzent
- Rodzaj działalności: Przegląd
- Data przeglądu: Rok (np. 2020)
- Organizacja zwołująca: UK Research and Innovation (Swindon, GB)
- Źródło: Systemy UKRI
Wymogi ochrony danych
UKRI jest administratorem danych w zakresie wszelkich informacji, które system UKRI wysyła do ORCID profil użytkowników Je-S. Dlatego wysyłamy informacje o recenzji do ORCID w imieniu naszych recenzentów, na podstawie ich zgody. Oznacza to, że nasi recenzenci decydują o udzieleniu lub odmowie zgody UKRI na przesyłanie im informacji o recenzjach ORCID konto. Nasi recenzenci powinni mieć możliwość włączania lub wyłączania uprawnień w dowolnym momencie na swoim koncie Je-S. Daje to naszym recenzentom kontrolę nad wyborem recenzji, za które otrzymają anons ORCID przejrzeć kredyt. Nasz system wyśle tylko ORCID recenzować kredyty tym recenzentom, którzy wyraźnie udzielili uprawnień w swoim profilu Je-S.
ORCID użytkownicy mają pełną kontrolę nad zarządzaniem wyświetlanymi w nich informacjami ORCID profil. Takie jak, ORCID użytkownicy mogą natychmiast usuwać lub zmieniać widoczność informacji ze swoich ORCID profil. Jako administrator danych, UKRI musi również mieć możliwość przyjęcia tego żądania ORCID użytkowników do usunięcia informacji generowanych przez UKRI ze swoich ORCID profil. Dlatego opracowaliśmy wewnętrzny proces zarządzania tymi prośbami i doradziliśmy naszym recenzentom, aby wysyłali e-mail do naszego zespołu pomocy Je-S z prośbą o usunięcie danych UKRI z ich ORCID konta.
Mapa procesów i rozwój systemu
Wszelkie informacje przesyłane za pośrednictwem Je-S — naszego systemu front-end, w którym użytkownicy wchodzą w interakcję z UKRI — są przechowywane w wewnętrznym systemie zaplecza, który nie jest dostępny dla użytkowników. Wewnętrzny system zawiera informacje o recenzjach przesłanych za pośrednictwem Je-S. Aby wysłać kredyty recenzji do ORCID, proces musi rozpocząć się od systemu wewnętrznego.
Zaprojektowaliśmy mapę procesów w taki sposób, aby po spełnieniu kryteriów (wymienionych w sekcji „Uwagi dotyczące polityki”) ocena recenzji została wysłana z naszego wewnętrznego systemu do Je-S. Gdy kredyt recenzji jest w Je-S, kredyt recenzji jest wydawany tylko dla ORCID, jeśli recenzent udzieli wyraźnej zgody UKRI na przesłanie do nich informacji o recenzji ORCID profil. Recenzent musi połączyć swoje ORCID iD z kontem Je-S, aby otrzymać ORCID przeglądać kredyty.
Jedną rzeczą, której nie wzięliśmy pod uwagę na początku projektu, jest wymóg z ORCID wyświetlanie informacji o recenzji na zewnętrznej stronie internetowej należącej do UKRI. Pomysł polegał na tym, że aktywność przeglądania, jak pokazano na ORCID, byłby powiązany z zapisem recenzji na stronie internetowej należącej do UKRI. Zdaliśmy sobie sprawę, że ten wymóg znacznie skomplikowałby rozwój systemu, ochronę danych i wymagania polityki. Naszym celem było pokazanie uznania recenzji ORCID a nie na stronie internetowej UKRI. Dlatego poprosiliśmy ORCID rozważyć zwolnienie UKRI z tego wymogu — oraz ORCID Zgoda!
Budowa systemu rozpoczęła się po zmapowaniu wszystkich tych szczegółów. Poniżej możesz zobaczyć, w jaki sposób informacje o recenzjach przepływają z systemów UKRI do ORCID.
Realizacja
Wreszcie wdrożenie tej funkcji wymagało opracowania wskazówek i informacji dla członków społeczności badawczej i innowacyjnej, w tym recenzentów. W ramach wdrożenia opracowaliśmy zawartość strony internetowej nt ORCID Uznanie recenzentów, w tym często zadawane pytania skierowane do recenzentów. Dodatkowo przeprowadziliśmy również kampanię komunikacji wewnętrznej w ramach UKRI, tworząc wewnętrzne FAQ i prezentacje dla naszych pracowników.
Jedną z najważniejszych rzeczy do rozważenia jest sposób, w jaki przekazujemy te zmiany naszym recenzentom. W tym celu zmieniliśmy nasz e-mail z zaproszeniem do recenzji, aby wspomnieć o możliwości uzyskania punktów za recenzje za pośrednictwem ORCID oraz link do strony internetowej UKRI, aby uzyskać więcej informacji. Wydaliśmy również komunikat do wszystkich użytkowników, którzy połączyli swoje ORCID identyfikatory do Je-S informując ich o ORCID Uznanie recenzenta przed wdrożeniem tej funkcji.
Podczas gdy rozwój miał miejsce, zauważyliśmy to ORCID zaktualizowali swoje API (kod, który łączy ORCID z Je-S) od sierpnia 2017 r., a poprzedni interfejs API nie miał funkcji wysyłania punktów recenzji do ORCID. Oznaczało to, że nasi użytkownicy, którzy połączyli swoje ORCID iD z kontem Je-S przed sierpniem 2017 r., nie będą mogli otrzymywać ORCID przeglądać kredyty. Aby ci użytkownicy mogli otrzymywać ORCID przeglądać kredyty, musieliby usunąć swoje obecne ORCID połączyć się z Je-S i ponownie nawiązać to połączenie. Dlatego opracowaliśmy proces usuwania ORCID połączenie z naszego systemu, co użytkownicy Je-S mogą zrobić w dowolnym momencie, wysyłając e-mail JeSHelp@je-s.ukri.org. Ponadto powiadomiliśmy użytkowników, których to dotyczy, o tym wymaganiu na kilka tygodni przed wdrożeniem tej funkcji.
Użytkownicy zostali również powiadomieni e-mailem po ORCID Funkcja rozpoznawania recenzentów została uruchomiona w naszym systemie.
Wnioski
W tym poście na blogu starałem się przedstawić przegląd podejścia UKRI do wdrażania ORCID Uznanie recenzentów. UKRI zobowiązuje się do wdrożenia ORCID zgodnie z najlepszymi praktykami fundatorów i chętnie dzielimy się zdobytymi doświadczeniami z innymi fundatorami, którzy rozważają wdrożenie tej funkcji. Jak wspomniałem wcześniej, najważniejszymi rzeczami, które musieliśmy wziąć pod uwagę przy wdrażaniu tej funkcji, były decyzje polityczne, wymagania dotyczące ochrony danych, wymagania systemowe, mapowanie procesów i wreszcie budowanie i wdrażanie systemu.