Wzajemna ocena ma kluczowe znaczenie dla wielu kluczowych przepływów pracy badawczej: publikacji, wniosków o granty, wniosków o awans i etat, zgłoszeń konferencyjnych i innych. Jesteśmy tym zachwyceni ORCID członek Królewskie Towarzystwo Te Apārangi planuje używać ORCID do uznania usługi recenzowania dla Fundusz Marsdena recenzentów panelowych. Dowiedz się więcej o ich postępach w tym wywiadzie z Jasonem Gushem, ich menedżerem programu ds. analiz i ocen, i czekaj na więcej aktualizacji w nadchodzących miesiącach.
Po pierwsze, czy możesz nam powiedzieć coś o Towarzystwie Królewskim Te Apārangi i Funduszu Marsdena oraz o Twojej obecnej integracji z ORCID przez Nową Zelandię ORCID Centrum?
The Royal Society Te Apārangi to 150-letnia organizacja pozarządowa upoważniona na mocy ustawy parlamentu i odpowiedzialna za wspieranie i zachęcanie do stypendiów w naukach ścisłych i humanistycznych oraz zachęcanie do ich uznania i świadomości w nowozelandzkiej opinii publicznej. W ramach tych obowiązków jesteśmy domem dla narodowej akademii Nowej Zelandii, rozdajemy medale i nagrody za doskonałość naukową, administrujemy tytułami New Zealand Journal i działamy jako administrator funduszy rządowych, a także przeprowadzamy szereg promocji , edukacyjną i ekspercką.
Fundusz Marsdena jest największym z funduszy, którymi administrujemy i działa od 24 lat. Obecnie jest nieco nowatorska, zarówno w całości przeznaczona do badań inicjowanych przez badaczy, jak i obejmująca pełną gamę badań, od nauk humanistycznych, poprzez nauki społeczne, nauki przyrodnicze, nauki fizyczne, po matematykę i nauki informacyjne. Przy rocznej rundzie finansowania i wskaźnikach sukcesu zwykle około 10%, uzyskanie stypendium Marsdena jest uważane za niosące ze sobą spory prestiż.
Towarzystwo miało przyjemność być wiodącą agencją dla Nowej Zelandii ORCID Konsorcjum od powstania Konsorcjum w 2016 r. Wspierane przez nasz rząd konsorcjum jest ORCIDjest najbardziej zróżnicowana organizacyjnie i ma na celu reprezentowanie wszystkich nowozelandzkich naukowców finansowanych ze środków publicznych. Konsorcjum wspierało również rozwój Nowej Zelandii ORCID Hub, aby umożliwić naszym różnorodnym członkom interakcję ORCID. Hub to aplikacja internetowa z prostym interfejsem użytkownika, która umożliwia organizacjom odczytywanie i zapisywanie danych ORCID rekordy za zgodą właściciela rekordu. Obecnie korzystamy z Centrum, aby zapewnić powiązania dla naszych pracowników, fundusze dla stypendystów i właśnie zaczęliśmy zastanawiać się, w jaki sposób możemy właściwie reprezentować wzajemną ocenę, która jest integralną częścią naszej działalności.
Jakiego rodzaju prace techniczne podjęło Towarzystwo, aby umożliwić uznawanie recenzentów w Centrum?
Wzajemna ocena stanowiła proste rozszerzenie funkcjonalności Centrum. Główną komplikacją było stworzenie narzędzi do zarządzania grupą id wymieniony w an ORCID recenzja koleżeńska. Mamy wielkie szczęście, że mamy zdolny i oddany zespół programistów University of Auckland. Wspólnie Radomirs Cirskis i Roshan Pawar uruchomili to dzięki wersji 4 Huba, która została uruchomiona w maju.
Cieszymy się, że Royal Society Te Apārangi jest pierwszym ORCID członka do uznawania wkładów w przegląd do celów finansowania. Jakiego rodzaju recenzje będą uznawane?
Fundusz widzi około 1,200 wyrażeń zainteresowania rocznie w szerokim zakresie dyscyplin. Aby ocena była praktyczna, Fundusz jest podzielony na 10 paneli opartych na dyscyplinach. Każdy panel ocenia około 120 zgłoszeń zainteresowania i wybiera około 24, aby zaprosić do złożenia pełnego wniosku. Te 24 propozycje są wysyłane do trzech (prawie wyłącznie) międzynarodowych sędziów w celu uzyskania komentarza. Panele spotykają się ponownie, aby rozważyć propozycje, komentarze sędziów i obalenia badaczy, aby wybrać 12, które odniosą sukces.
Ponieważ recenzenci są obecnie anonimowi, wkład w recenzje, który nas najbardziej interesuje i który możemy potwierdzić, to usługi świadczone przez panelistów.
Co masz nadzieję osiągnąć, udostępniając panelistom Marsden Fund uznanie recenzentów i jakie wyzwania napotkałeś?
Wzajemna ocena jest tak ważną częścią naszych procesów, dlatego szukamy jasnego, czystego i autorytatywnego sposobu jednoznacznego stwierdzenia, że dana osoba wykonała tę usługę. Mamy nadzieję, że jest to cenne dla panelistów. Biorąc pod uwagę, że często zwracają się do nas z prośbą o potwierdzenie, że uczestniczyli w panelu w innych procesach oceny, chcemy dać panelistom możliwość samodzielnego dzielenia się tymi informacjami.
Oczekuje się zatem, że uspołecznienie potwierdzania tego, co już jest informacją publiczną, będzie trywialne. Zamiast tego naszym największym wyzwaniem była próba dopasowania się do tej roli ORCIDmodelowa reprezentacja wzajemnej recenzji. I odwrotnie, model ten pasowałby względnie dobrze, gdyby Fundusz, a nawet którykolwiek z procesów Towarzystwa, oferował sędziom możliwość otwarcia się na swoją tożsamość; jednak obecnie zdecydowanie tak nie jest.
Jakie podejścia rozważyłeś, na przykład, jeśli chodzi o uznawanie recenzji wzajemnych w porównaniu z przynależnością do usług?
Naszymi początkowymi myślami było potwierdzenie tych ról w sekcji recenzji panelistów ORCID Record, zarówno dlatego, że myśleliśmy, że możemy sprawić, by to działało, jak i dzięki wersji 2.1 ORCID API, to była jedyna gra w mieście. Jednak zapoznanie się z modelem recenzowania pokazało, że nie pasuje on do tego, co chcieliśmy stwierdzić, tj. sytuacji, w której możliwa do zidentyfikowania praca jest przedmiotem możliwej do zidentyfikowania recenzji. Po rozmowach z ORCID zdecydowaliśmy zamiast tego poczekać na powiązania serwisowe wersji 3.0.
Jaka była do tej pory reakcja badaczy na możliwość uznania ich pracy przeglądowej dla Towarzystwa? ORCID rekord?
Jest jeszcze za wcześnie, by o tym mówić, bo to jeszcze wczesne dni. Częścią dążenia do tego było uzyskanie zgody Rady Funduszu Marsdena, która zarządza funduszem, a oni wspierali zarówno tę działalność, jak i twierdzenia o finansowaniu w ORCID.
Jakie wyzwania stanowiło bycie pierwszą osobą, która podjęła pracę nad uznaniem wzajemnej oceny w finansowaniu i jakich rad udzieliłbyś innym fundatorom, którzy chcieliby powiązać i uznawać wzajemną ocenę?
Recenzja wzajemna to najnowsza z sekcji ORCID rekord i, przynajmniej w wersji 2.1, jest solidnie ukierunkowany na koncepcję recenzenta piszącego recenzję na dany temat w imieniu grupy recenzentów. Jako podmiot finansujący, wyzwania polegały na tym, że temat musiał być jednym z nich ORCIDtypy prac, podczas gdy grupy recenzentów mogą należeć do jednej z następujących grup: wydawca; instytucja; dziennik; konferencja; Gazeta; biuletyn Informacyjny; czasopismo; lub usługę recenzowania. Żadne z nich nie pasuje do organizacji finansującej, której przedmiotem nie byłaby praca, ale dotacja, propozycja lub wniosek. Fakt, że tak wiele kontrowersyjnych przeglądów finansowania jest zaślepionych, również powoduje ścisłe zastosowanie ORCIDmodel wzajemnej oceny jest dla nas obecnie niepraktyczny.
Gdyby Towarzystwo przeszło w kierunku otwartej recenzji, a przynajmniej bardziej otwartej niż obecnie, podejście do wzajemnej oceny byłoby warte ponownego rozważenia. Dla innych fundatorów, raz ORCID ma typy tematyczne i typy organizacji, które pasują, to zdecydowanie jest to możliwe, jeśli ćwiczą otwartą recenzję; jednakże przynależność usługowa wydaje się w międzyczasie podejściem znacznie bardziej uniwersalnym.
Patrząc w przyszłość, czy uznawanie recenzowania jest częścią ORCID mapa drogowa dla innych członków Nowej Zelandii korzystających z ORCID Centrum?
Wszyscy główni publiczni sponsorzy badań w Nowej Zelandii są częścią naszego konsorcjum i mogą to robić za pomocą Centrum. Zdecydowanie mam nadzieję, że tego rodzaju uznanie zostanie rozszerzone na naszych innych sponsorów, biorąc pod uwagę wartość, jaką otrzymujemy z usług recenzentów.