Aby uczcić Tydzień Peer Review, przedstawiciele ds ORCID, ScienceOpen, Sense About Science i Wiley zebrali się (wirtualnie), aby przedyskutować, dlaczego recenzowanie jest ważne — dla nich i dla ich organizacji — i co mają nadzieję osiągnąć w tym tygodniu.
Podziękowania dla uczestników: Stephanie Dawson (CEO, ScienceOpen), Chris Graf (New Business Director, Professional Innovations for Associations and Societies, Wiley), Peter Gregory (redaktor naczelny Advanced Materials, wiceprezes i dyrektor wydawniczy, Wiley), Laure Haak (Dyrektor wykonawczy, ORCID), Emily Jesper (asystent reżysera, Sense about Science)
(od lewej do prawej: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stephanie Dawson (SD): Kiedy zaczynałem jako kierownik czasopisma w wydawnictwie De Gruyter, otrzymywałem po trzy egzemplarze każdego rękopisu, które wkładałem do kopert i wysyłałem pocztą do Japonii lub Argentyny, mając nadzieję, że wybrany recenzent będzie miał czas na przejrzenie. Od tamtego czasu wiele się zmieniło, a wiele nie. Niektórzy recenzenci wykonali niezwykle sumienną pracę, pomagając autorom poprawić ich prace, inni wysłali odmowę w trzech linijkach. Naprawdę widziałem z pierwszej ręki, jak heterogeniczny może być ten proces i żałuję, że nie mogę osobiście podziękować każdemu recenzentowi, który włożył wysiłek, aby naprawdę pomóc swoim kolegom.
W sieci badawczej i wydawniczej ScienceOpen jedną z naszych odrębnych ról, poza wydawcą Gold Open Access (OA) i agregatorem treści, jest rola reformatora recenzowania. Naszym celem jest zwiększenie zaufania do procesu recenzowania poprzez uczynienie go całkowicie przejrzystym. Wtedy każdy może zobaczyć (a nawet podziękować) tym recenzentom, którzy wykonują wyjątkową pracę na rzecz poprawy jakości komunikacji naukowej.
Wdrożyliśmy nowy przepływ pracy, aby zademonstrować skuteczność innego podejścia do wzajemnej weryfikacji i jego przydatność dla cyfrowej przyszłości komunikacji naukowej, która naszym zdaniem będzie musiała przyspieszyć i obejmować publikację znacznie większej liczby obiektów cyfrowych niż obecny pojedynczy artykuł jednostka.
Chris Graf (CG): Mówiąc o nowatorskich przepływach pracy, osobiście jestem zainteresowany tym, w jaki sposób wzajemne recenzowanie przed i po opublikowaniu razem stworzy lepszy system.
Recenzja przedpublikacyjna weryfikuje i organizuje badania, a przede wszystkim wykonuje świetną robotę. Ale – bądźmy szczerzy – czasami spektakularnie się myli. I tu właśnie pojawia się recenzowanie po opublikowaniu.
Recenzja po publikacji może pomóc w określeniu kontekstu, selekcji i – co dla mnie ekscytujące – być może także zapewnia czytelnikom bardziej przystępny punkt wejścia (np. artykuły). I – tak – recenzowanie po publikacji eliminuje okazjonalne zepsute jabłko. Co jest ważne.
Wreszcie, musimy się zatrzymać i pomyśleć – i przeprowadzić publiczną dyskusję – o tym, czy recenzowany artykuł powinien być postrzegany jako absolutny, ostateczny, ostateczny i w 100% poprawny tylko dlatego, że jest recenzowany. Czy bardziej realistyczne byłoby myślenie o recenzowanym artykule jako o jednym kroku na (dość krętej) podróży badawczej, podczas której możemy się spodziewać, że popełnimy błędy, skręcimy w złą stronę, potkniemy się i obierzemy nowy kierunek, zanim dotrzemy do miejsca docelowego: Odpowiedź. Na tę podróż składa się wiele kroków, a wiele fragmentów badań stanowi dowody, których używamy do kształtowania praktyki i polityki.
Laure Haak (z lewej): Całkowicie zgadzam się z twoim ostatnim punktem, ale jeśli chodzi o walidację, czy to naprawdę robi recenzowanie? Czy to ma być filtr, który mówi, że w tym artykule zastosowano właściwą metodologię i statystyki (w przypadku artykułu naukowego), czy naprawdę szukamy recenzenta, który oceni logiczny przebieg artykułu? Na koniec, kto ponosi odpowiedzialność, jeśli okaże się, że gazeta jest „oszukańcza”? Czy naprawdę możemy oczekiwać/chcemy, aby ten ciężar spoczywał na recenzencie?
Emily Jesper (EJ): A jeśli chodzi o punkt widzenia Chrisa na temat roli recenzowania w kształtowaniu praktyki i polityki, oczywiście recenzowanie nie jest czymś, co ma znaczenie tylko dla badaczy naukowych. Ponieważ wskazuje to, że badania zostały przeanalizowane przez niezależnych ekspertów w tej dziedzinie, recenzowanie jest ważną kwestią dla decydentów politycznych, reporterów i opinii publicznej przy rozważaniu twierdzeń badawczych i debat na temat nauki. Zrozumienie statusu twierdzeń badawczych daje siłę. Pomaga nam ważyć roszczenia i wykorzystywać dowody do podejmowania decyzji. Od czasu założenia Sense About Science w 2002 roku pracujemy nad szerszą popularyzacją rozumienia recenzowania naukowego. Nasz publiczny przewodnik po recenzowaniu „Nie wiem, w co wierzyć” zachęca ludzi do zadawania pytań „Czy to jest recenzowane?” podczas ważenia twierdzeń dotyczących nauki.
Peter Gregory (PSG): Chociaż masz rację, że recenzowanie ma szersze znaczenie, jest ono ważne dla Wiley przede wszystkim dlatego, że ma znaczenie dla społeczności naukowej, której służymy. Oprócz zbierania opinii i ulepszania wkładu, recenzowanie zapewnia również, zwłaszcza w naukach ścisłych i medycynie, wentyl bezpieczeństwa, zapobiegający rozpowszechnianiu błędnych lub nawet niebezpiecznych, błędnych artykułów.
LH: Tak, recenzowanie jest kluczowym elementem praktyki naukowej. Jest to ustalony zestaw metod zbierania komentarzy do prac naukowych (artykułów, książek, grantów, programów i innych) od rówieśników — ekspertów w danej dziedzinie — w celu ulepszenia pracy. ORCID jest zainteresowany recenzowaniem, ponieważ zaangażowani są ludzie, zarówno twórcy prac, jak i recenzenci. Współpracujemy ze społecznością w celu opracowania cyfrowych metod potwierdzania wkładu recenzentów poprzez cytowanie działań recenzentów. Mamy nadzieję, że w ten sposób zachęcimy naukowców do udziału jako recenzenci, a także wesprzemy innych, którzy pracują nad kwestiami zaufania w procesie recenzowania.
SD: Uwielbiam pomysł robienia ORCID miejsce, w którym badacze mogą rejestrować swoje czynności recenzyjne. ScienceOpen próbuje rozwiązać ten problem za pomocą otwartych recenzji, które mają zarejestrowany identyfikator DOI CrossRef. Publons również wykonuje dobrą robotę w tym zakresie, a także wspiera recenzentów w niewidomych czasopismach recenzujących. W przypadku ślepej recenzji weryfikują oni z wydawcami, czy recenzent rzeczywiście wykonał pracę, o której mówią – w tej chwili badacz mógłby łatwo dodać „recenzję dla Nature and Cell” do swojego CV, ponieważ nie ma sposobu, aby zweryfikować to w naszym obecnym systemie ślepej oceny. Ponownie zaufanie i przejrzystość są kluczowe.
PSG: Mam nadzieję, że Tydzień Peer Review pomoże zintensyfikować dyskusję na temat recenzowania i uwrażliwi uczestników (wydawców, autorów, redaktorów, recenzentów, fundatorów itp.) Niektóre obszary gromadzą opinie, inne są bardziej oparte na faktach; niektóre korzystają z obiegu przeddruku (mam na myśli przed recenzją i publikacją), niektóre są przez to niszczone; dla niektórych recenzja postu jest nowatorska, dla niektórych niebezpieczna. Prowadzi mnie to do wniosku, że osoby pracujące nad poprawą/zmianą recenzowania powinny uważnie rozważyć, że jeden rozmiar nie jest odpowiedni dla wszystkich.
SD: Zgadzam się, że nie będzie rozwiązania „jednego rozmiaru dla wszystkich”, ale różne społeczności mogą również uczyć się od siebie nawzajem, zwłaszcza że wzrost interdyscyplinarnych badań zbliża je do siebie. Doskonałym przykładem jest serwer preprint dla nauk przyrodniczych BioRxiv, który opiera się na pozytywnych doświadczeniach społeczności fizyków w zakresie preprintu z arXiv. W nowej dziedzinie bioinformatyki informatycy po prostu umieścili swoje preprinty na arXiv, a badacz bardziej z nauk przyrodniczych zapytał „co to jest?” Więc coś naprawdę interesującego, dorastałem właśnie w tych punktach tarcia. Również nowy trend w kierunku megaczasopism, takich jak PLoS One, SpringerOpen, Scientific Reports, wymaga ponownego przemyślenia recenzowania, aby pasował do szerokiego zakresu społeczności, a wszystkie te czasopisma sprowadzają się do proszenia recenzentów o sprawdzenie naukowej solidności wyników. Może to więc dać nam pewne wskazówki co do tego, jaki może być wspólny mianownik wzajemnej oceny.
LH: Idea wspólnego mianownika jest naprawdę kluczowa i mam nadzieję, że taki właśnie rodzaj dyskusji wygeneruje Tydzień Peer Review – stymulowanie i koncentrowanie toczącej się rozmowy na temat wzajemnej oceny, a tym samym przedstawianie tego, co jest robione w praktyce w celu wspierania ulepszeń .
SD: Z perspektywy ScienceOpen, w tym Tygodniu Peer Review, chcemy zadać proste pytanie. Czy w miarę wzrostu i dywersyfikacji wyników badań (zbiory danych, wyniki negatywne, opisy przypadków, preprinty, plakaty…) społeczność naukowa będzie w stanie recenzować wszystkie te obiekty przed publikacją? Uważamy, że nie. W ciągu dnia nie ma wystarczająco dużo czasu, pieniędzy, aby za to zapłacić, a nawet apetytu na zrobienie tego teraz. Czy te wyjścia będą jednak przydatne? Oczywiście, jeśli mamy skuteczny sposób wyszukiwania i filtrowania ich na podstawie parametrów, które czytelnicy uznają za pomocne, a autorzy za satysfakcjonujące. Na przykład:
- Co moi rówieśnicy sądzą o tej informacji?
- Czy są do niego jakieś aktualizacje?
- Jaki wpływ wywarła na świat i kto to zauważył?
- Która praca jest warta wyróżnienia w konkretnej dziedzinie?
- Ile razy był cytowany i gdzie?
- Jeśli poświęciłem czas na jego przejrzenie, czy mój wkład zostanie odnaleziony i zacytowany?
- Czy te wysiłki poprawią moje perspektywy zawodowe?
- Ile razy był cytowany i gdzie?
Na żadne z tych ważnych pytań nie ma wpływu ewolucja od ślepej lub podwójnie ślepej anonimowej recenzji, z wyjątkiem szybkości, z jaką możemy na nie odpowiedzieć. Przejrzyste procesy i proste narzędzia internetowe mogą filtrować szybciej, lepiej i taniej niż czasopisma i recenzowanie przed publikacją.
Właśnie dlatego w ScienceOpen opracowaliśmy systemy wzajemnej oceny po publikacji; wersjonowanie; alokacja DOI; Metryki artykułów; kolekcje; Otwarte informacje o cytatach i nie tylko – aby zademonstrować inną (a my uważamy, że lepszą) drogę naprzód.
LH: Nie jestem pewien, czy zgadzam się, że recenzowanie jest niezrównoważone. Myślę, że jeśli my, społeczność, zapewnimy wskazówki, co to znaczy recenzować określone rodzaje treści, to możemy być na dobrej drodze do wspierania przeglądu szerszego zestawu wyników. Musimy odpowiedzieć na takie pytania, jak: kto jest odpowiedzialny za treść? Jaka jest rola autora/doradcy/pracodawcy/redaktora/recenzenta? To jest fundamentalne. Niektóre z tych „nowych” treści, takie jak zbiory danych, mogą wymagać od weryfikatora sprawdzenia, czy metadane są wystarczająco opisowe oraz czy deponowanie/dostęp/długoterminowe przechowywanie danych jest uwzględnione zgodnie z planem zarządzania danymi. I chociaż podobają mi się twoje sugestie dotyczące wyszukiwania i filtrowania wyników badań, nic z tego nie ma znaczenia, jeśli (np.) zestaw danych znajduje się na nośniku danych w czyjejś szufladzie. Recenzent może być kluczowym elementem zapewniającym, że zbiory danych są zachowane, a ścieżka dostępu opisana w trwały sposób, tak aby można było ją cytować. To samo dotyczy innych rodzajów wyjść.
SD: Istnieje wielu wydawców i organizacji, które na nowo zastanawiają się, co naprawdę powinno osiągnąć recenzowanie i tworzą nowe usługi, które to wspierają – czasami nawet zbyt wielu z punktu widzenia naukowca, który może czuć się przytłoczony nowymi definicjami i wyborami. Uważam również, że podczas Tygodnia Peer Review ważne jest pokazanie, w jaki sposób innowacje w tej dziedzinie są naprawdę budowane, aby wspierać recenzentów i fantastyczną pracę, którą wykonują. Mam więc nadzieję, że w tym tygodniu zobaczymy potwierdzenie istniejących obecnie nowych modeli wzajemnej weryfikacji, zademonstrowanych przez małe organizacje typu start-up, takie jak ScienceOpen i The Winnower oraz inne, takie jak F1000Research i PeerJ. I że dyskusje na temat Peer Review wyszły już poza interesujące rozmowy między naukowcami i zaangażowały twórców oprogramowania i wydawców pracujących w podmiotach głównie komercyjnych, które są dobre w urzeczywistnianiu innowacji.
Otwarte pozostaje jednak pytanie, „czy społeczność naukowa może skorzystać z tych nowych możliwości, ponieważ publikowanie przez badacza jest nadal powiązane z wpływem samych wyników badań na rozwój kariery?”. Przełamanie uścisku Impact Factor nie jest łatwym zadaniem. Ale każdy nowy system będzie musiał spełniać kryteria zaufania i przejrzystości.
LH: Nie sądzę, aby problemem był czynnik wpływu. Myślę, że celem tego tygodnia jest przyjęcie Peer Review w całej jego różnorodności i praca nad zrozumieniem jego podstawowej funkcji w dyskursie naukowym. Do punktu Chrisa powyżej, recenzowanie jest częścią podróży. Różne dyscypliny, różne tematy skorzystają z różnych smaków, wszystkie dobre. Skupmy się na samym procesie, a nie na kontenerze (np. czasopiśmie/platformie serwisowej).
EJ: Nie zapominajmy też, że opinia publiczna musi wiedzieć o recenzowaniu, więc naukowcy i wydawcy powinni o tym rozmawiać. Tydzień Peer Review to świetna okazja dla naukowców do zatrzymania się i zastanowienia nad szerszą rolą, jaką recenzowanie odgrywa w społeczeństwie w utrzymaniu jakości w nauce oraz do szerszego podzielenia się tym. Szczególnie mam nadzieję, że usłyszymy od początkujących naukowców o tym, dlaczego recenzowanie jest dla nich ważne, i w większym stopniu docenimy tę istotną, dobrowolną rolę, jaką odgrywają badacze. Da to również naukowcom szansę usłyszenia o fantastycznych zasobach, warsztatach i możliwościach szkoleniowych dostępnych w ramach wzajemnej oceny.