Publikacje naukowe stoją na piedestale – społeczeństwo postrzega raporty naukowe jako najbliższe przybliżenia Prawdy, jakie mamy. Sami naukowcy wiedzą, że nauka jest próbą wypracowywania przez dziesięciolecia interpretacji, która jest mierzalna i jak najmniej błędna. Prawda jest gdzieś na zewnątrz, ale możemy mieć tylko nadzieję, że zobaczymy jej cień.
Niemniej jednak mam desperacką nadzieję, że publikacje naukowe nadal będą utrzymywały się na wysokim poziomie. Bez tego całe społeczeństwo pozostanie jedynie „uczciwą i zrównoważoną” kakofonią Internetu, w której każdy będzie wybierać to, co szarlataneria i pseudonauka najlepiej odpowiada jego konkretnemu zwapnieniu opinii.
Jednakże, choć nauka może stać na piedestale w oczach opinii publicznej, w rzeczywistości jest to magiczny samochód prowadzony przez redaktorów i napędzany recenzjami – Chitty Chitty Bang Bang!
W miarę swoich możliwości redaktorzy i recenzenci muszą ustalić, że to, co zostaje zgłoszone jako nauka, jest zgodne z solidną metodologią, aby można było to niezależnie zweryfikować, a przedstawione wnioski wynikały w sposób uzasadniony z wykorzystanych danych i analiz. Redaktorzy i recenzenci powinni także ustalić, że to, co jest uznawane za naukę, jest ważne – warte Twojego czasu i uwagi jako czytelnika.
W środowisku akademickim istnieje wyraźny dysonans: z jednej strony badania pokazują, że wśród naukowców istnieje szeroki konsensus co do tego, że recenzowanie jest kamieniem węgielnym publikacji akademickich; z drugiej strony panuje powszechne przekonanie, że recenzowanie nie spełnia oczekiwań, a wręcz może czasami powodować problemy. Zdolność tradycyjnego systemu wzajemnej oceny do zapewniania tego, czego się od niego dzisiaj oczekuje, jest coraz częściej kwestionowana.
W duchu Tygodnia Recenzji Peer Review 2015, który nie tylko świętuje recenzowanie i docenia ilość czasu, jaką badacze na niego poświęcają, ale jest także okazją dla społeczności do debaty, co się sprawdza, a co nie, chciałbym podkreśl niektóre wyzwania – kłopotliwe odgłosy tytułu – i kilka potencjalnych rozwiązań.
Recenzja partnerska i stopniowe schodzenie po drabinie prestiżu czasopisma, jedna odmowa na raz, ma istotne znaczenie opóźnienie w publikacji. Oprócz czasu poświęconego na przeglądanie zaakceptowanych zgłoszeń naukowcy spędzają być może 15 milion godzin coroczne przeglądanie zgłoszeń, które zostały odrzucone – nie jest to strata czasu, ponieważ oznacza to, że filtry działają (gdyby recenzowanie zawsze kończyło się akceptacją, byłaby to żałosna porażka dla systemu), ale w wielu przypadkach raporty można by wykorzystać do wsparcia pozytywną decyzję w innym czasopiśmie. Recenzja partnerska jest otwarta ryzyko stronniczości – to, czy narodowość, prestiż instytucjonalny, płeć, relacje osobiste lub inne kwestie rzeczywiście wpływają na daną recenzję i decyzję o publikacji, jest nieistotne. Prawdziwe pytanie brzmi: czy autor może w pełni ufać, że nie będą mieli na to wpływu? Namawianie do recenzowania i gonienie za niedotrzymanymi terminami stało się dla redakcji ciężarem o absurdalnych proporcjach, pochłaniającym czas prawdziwego naukowego zarządzania celami i zakresem czasopisma. A recenzowanie jest otwarte na ryzyko jawne oszustwo: w zeszłym roku dziesiątki artykułów wycofano z powodu oszukańczej recenzji naukowej.
Jednak dla mnie najważniejszym z tych wyzwań jest utrata wiarygodności. Jakość recenzji naukowych jest po prostu zbyt zróżnicowana, bez skutecznej oceny tej jakości i procedur, które umożliwiłyby wykorzystanie tych ocen przy podejmowaniu decyzji o publikacji.
W obecnym systemie prawdopodobnie niewielka zachęta dla badacza do włożenia znacznych nakładów czasu, pełnej uwagi i wiedzy specjalistycznej w zadanie recenzji naukowej. Wierzę, że brak uznania dla recenzji naukowych – i czasu, jaki zajmuje – oznacza, że wielu naukowców zadowala się robieniem tego szybko, a nie ostrożnie. Jednak dobra lub zła recenzja może dosłownie zadecydować o losach całej kariery młodego badacza. Ilu bystrych młodych ludzi straciła nauka tylko dlatego, że pośpieszna i nieostrożna recenzja uniemożliwiła publikację ważnego manuskryptu tuż przed kluczowym terminem przyznania grantu, co skłoniło ich do rezygnacji?
W pewnym sensie mnie to zgubiło. Ale nadal kocham Chitty Chitty Bang Bang.
Stąd moja nowa praca: budowa rafinerii w celu opracowania paliwa o wyższej liczbie oktanowej.
At Parostwo nauki stosujemy dwutorowe podejście do ulepszania recenzji naukowych (żadna z nich nie jest zastrzeżona, więc nic nie stoi na przeszkodzie, aby czasopisma, które nie korzystają z Peerage of Science, wdrażały je samodzielnie).
Po pierwsze, otwarte zaangażowanie – jeśli Twoja tożsamość i kwalifikacje zostały potwierdzone przez wiarygodne źródło zewnętrzne i nie jesteś powiązany z autorami poprzez instytucję lub niedawne współautorstwo, możesz zaangażować się w recenzowanie dowolnego manuskryptu. Redaktorzy mogą polecać recenzentów, ale nie mają do tego wyłącznego prawa – każdy recenzent, w tym autorzy, może polecić kogokolwiek innego. Po drugie, same recenzje podlegają recenzowaniu („peer review-of-peer-recenzja”). Stwarza to bardzo skuteczną presję społeczną na badaczy, aby poświęcali więcej czasu i wysiłku na staranne przeprowadzanie recenzji naukowych. Ponadto domyślne podejście do anonimowości w Peerage of Science jest potrójnie ślepe, co oznacza, że argumenty wszystkich – autorów, recenzentów, redaktorów – muszą opierać się na własnych wartościach naukowych, w jak najmniejszym stopniu dotknięte uprzedzeniami przeciwko lub na rzecz czynników osobistych. Jednakże, chociaż jest to ustawienie domyślne, zamiast narzucać konkretny pogląd, Peerage of Science pozwala autorowi wybrać.
Jako organizacja członkowska ORCID, Peerage of Science z niecierpliwością oczekuje także wsparcia nowych, ustandaryzowanych, możliwych do cytowania i możliwych do rozwiązania zapisów na potrzeby prac związanych z recenzowaniem w ORCID profile. Ważne jest, aby prace związane z recenzowaniem były doceniane w sposób uwzględniający jakość pracy, a posiadanie wiarygodnego zapisu powiązanego z wynikami ocen krzyżowych i informacjami zwrotnymi jest obiecującym sposobem, aby to osiągnąć.
Wiele innych organizacji, podobnie jak my, pracuje nad udoskonaleniem systemu recenzji naukowych, czy to poprzez ułatwianie uznawania pracy recenzentów, eksperymentowanie z nowymi formami recenzji naukowych, znajdowanie sposobów ponownego wykorzystania recenzji odrzuconych artykułów i nie tylko. Tak więc, świętując Tydzień Recenzji Wzajemnych – teraz i w przyszłości – postarajmy się wszyscy, aby recenzowanie było czymś, co usprawiedliwia postument i sprawi, że Chitty Chitty Bang Bang będzie latać przez 52 tygodnie każdego roku.
[Podpis pod zdjęciem: Chitty Chitty Bang Bang. Hrabia Ludwik Zborowski z Chitty Bang Bang 1 w Brooklands około 1921 r. Obraz należący do domeny publicznej za pośrednictwem Wikipedii.]