Peer-Review ist ein wichtiger Bestandteil des wissenschaftlichen Diskurses und verbessert oft die Qualität und Genauigkeit von Publikationen deutlich. Dies geschieht jedoch meist im Verborgenen: Bei den meisten Zeitschriften findet der Begutachtungsprozess hinter den Kulissen mit anonymen Gutachtern statt und nur das Endergebnis – der endgültige Artikel – steht den Lesern zur Verfügung. Was passiert, wenn dieser Prozess eröffnet wird?
Bei F1000Research werden Artikel vor dem Peer-Review veröffentlicht, nachdem sie eine interne Qualitätsprüfung bestanden haben, die sich auf Lesbarkeit, ethische Fragen, Datenverfügbarkeit und andere grundlegende Kriterien konzentriert. Danach beginnt das eingeladene Peer-Review und ist völlig offen, sodass die Leser den Prozess und die Diskussion rund um den Artikel verfolgen können: Peer-Review-Berichte werden zusammen mit dem Namen des Rezensenten neben dem Artikel veröffentlicht, sobald sie eingehen. Autoren können eine oder mehrere überarbeitete Versionen des Artikels hochladen und den Gutachtern direkt antworten, die wiederum weitere Kommentare zu den Überarbeitungen abgeben können.
Auf dem Weg zu mehr Transparenz
Das Konzept des offenen Peer-Reviews ist nicht neu und kann viele verschiedene Formen annehmen: Das BMJ begann bereits 1999 mit dem nicht-anonymen Peer-Review. Die medizinischen Zeitschriften der BMC-Reihe Bald ging es noch einen Schritt weiter, indem es den Autoren während des Peer-Reviews die Namen der Gutachter offenlegte und die Namen der Gutachter sowie ihre Berichte über die letztendlich veröffentlichten Artikel veröffentlichte. Viele andere Verlage haben seitdem auf Forderungen nach mehr Transparenz reagiert und das Peer-Review geöffnet, die Benennung der Gutachter teils verpflichtend, teils fakultativ.
Es gibt häufig Bedenken, dass ein offenes Peer-Review dazu führen könnte, dass Gutachter weniger kritisch sind als anonyme Gutachter, obwohl dies nicht der Fall ist Randomisierte kontrollierte Studie vom BMJ zeigte: Gutachter, die wussten, dass ihre Namen den Autoren bekannt gegeben würden, würden die Veröffentlichung nicht eher empfehlen als Gutachter, die wussten, dass sie ihre Empfehlung anonym abgeben könnten. Die Aufforderung, den Gutachterbericht zu unterzeichnen, insbesondere wenn die Rezension auf der Artikelseite veröffentlicht wird, kann die Rezensenten tatsächlich dazu ermutigen, dies zu tun konstruktiv und objektiver, und die Rezensenten schenken ihnen möglicherweise tatsächlich mehr Aufmerksamkeit die Qualität ihrer Rezension in einem offenen Peer-Review-Verfahren.
Wir haben auf F1000Research sicherlich sehr kritische, aber konstruktive und nachdenkliche Gutachter gesehen. Tatsächlich sind einige Rezensionen am Ende länger als der Artikel! Als Michael McCarthy glaubte, in einem von ihm rezensierten Artikel einen entscheidenden Fehler zu erkennen, wollte er sicherstellen, dass es seiner war Kritik war klar; Er fügte eine vollständige Analyse – einschließlich einiger Softwarecodes – hinzu, um seinen Standpunkt klarzustellen. Da alle Gutachterberichte in F1000Research einen eindeutigen DOI erhalten, kann McCarthys Analyse nun eigenständig zitiert werden.
Volle Anerkennung für das Peer-Review
Für Gutachter bedeutet die offene Begutachtung, dass sie sich für die harte Arbeit, die sie in das Peer-Review gesteckt haben, und für die Art und Weise, wie sie zur Verbesserung der Arbeit beigetragen haben, anerkennen können. Artikel kritisch lesen und schreiben ein konstruktiver Bericht erfordert viel Zeit und Mühe, aber beim traditionellen „geschlossenen“ Peer-Review sind nur die Autoren und Herausgeber über den Beitrag der Gutachter informiert. Viele Forscher haben begonnen, ihre Aktivitäten als Gutachter auf zu listen Publikationen, wo sie die Unterstützung ihrer Kollegen für ihre Peer-Review-Beiträge erhalten können.
Eine formelle und standardisierte Anerkennung für Peer-Review-Aktivitäten wird diese Woche auch von einer wichtigen Entwicklung kommen: F1000Research und anderen Partnern von ORCID und dem Konsortien fördern Standards in der Forschungsverwaltungsinformation (CASRAI) beginnen mit der Umsetzung eines „Peer-Review-Zitierstandard' zum Sammeln, Speichern und Austauschen von Peer-Review-Informationen. Forscher können jetzt auf ihren Referenzen auf Review-Aktivitäten (für Zeitschriften, Geldgeber, Konferenzen oder Institutionen) verweisen ORCID aufzeichnen. Im Fall von F1000Research können Gutachter mit einem einzigen Klick über einen Link, den wir in einer E-Mail bereitstellen, ein Zitat ihres Berichts veröffentlichen.
Peer Review nach der Veröffentlichung
Durch die offene Durchführung des formellen Peer-Reviews (durch eingeladene Experten) nach der Veröffentlichung kann die breitere wissenschaftliche Gemeinschaft von der Diskussion zwischen Gutachtern und Autoren erheblich profitieren. Traditionell werden Artikel ohne Rezensionskommentare veröffentlicht und als letztes Wort zum Thema präsentiert. Autoren beschweren sich häufig darüber, dass sie, um die Akzeptanz des Artikels zu erreichen, den Wünschen und Interpretationen der Gutachter nachgeben müssen, mit denen sie nicht unbedingt vollständig einverstanden sind. Beim offenen Peer-Review nach der Veröffentlichung, wie es von F1000Research betrieben wird, ist die Debatte zwischen den Autoren und den eingeladenen Experten ein integraler Bestandteil der Veröffentlichung. Wo es zu Kontroversen kommt, können die Leser selbst entscheiden, welcher Interpretation (wenn überhaupt!) sie zustimmen – auf der Grundlage der vorgebrachten Argumente und möglicherweise unter Berücksichtigung der Expertise der Autoren und Gutachter. In einem F1000Research-Artikel über die „Selbstmedikation“ von Hummeln heißt es beispielsweise: bedeutende Entomologin Marla Spivak fügt ihr eigenes hinzu Meinung über die Interpretation der Autoren. Bei einem geschlossenen Peer-Review hätten nur die Autoren und der Herausgeber ihre Kommentare gesehen, wohingegen hier mögliche alternative Erklärungen oder Einschränkungen der Studie auch von den Lesern gesehen (und zitiert) werden können.
Probleme mit veröffentlichten (und in der Regel peer-reviewten) Studien werden mittlerweile in den sozialen Medien diskutiert, aber diese Form des „Crowd-Sourcing“-Peer-Reviews ist oft nicht mit der eigentlichen Studie verbunden, sodass die Leser des Artikels oft lange Zeit nichts von etwaigen Kontroversen bemerken . Eine Gruppe von Bioinformatikern sorgte kürzlich für Aufsehen, als sie auf verschiedenen Social-Media-Kanälen Bedenken hinsichtlich eines bestimmten PNAS-Artikels äußerten, der aus dem Maus-ENCODE-Projekt hervorgegangen ist. Um die Diskussion in die formale (PubMed-indizierte) Literatur zu integrieren, veröffentlichten sie a Reanalyse in F1000Forschung. Einer der Gutachterberichte wurde von mehr als tausend Menschen gelesen, alle im Zusammenhang mit dem Artikel (und dem Original-ENCODE-Papier, das geprüft wurde). Die Bitte des Gutachters um weitere Erläuterungen löste eine lebhafte Diskussion mit Lesern, Autoren und Gutachtern aus, die den Artikel weiter kommentierten. Diese zusätzlichen Kommentare sind nicht Teil des offiziellen (eingeladenen) Peer-Review-Prozesses, der letztendlich darüber entscheidet, ob ein Artikel von PubMed und anderen Indexierungsdiensten gelistet wird, sie tragen jedoch dazu bei, ein vollständigeres Bild der Forschung zu vermitteln.
Wichtig ist, dass das Peer-Review nach der Veröffentlichung die Veröffentlichung in Versionen ermöglicht und es den Autoren ermöglicht, nicht nur auf die Gutachter zu reagieren (mit einer neuen Version oder durch Kommentieren), sondern auch auf Vorschläge von Lesern, die Kommentare zum eigentlichen Artikel hinterlassen haben oder wenn Diskussionen entstehen anderswo.
Letztendlich bedeutet das Peer-Review nach der Veröffentlichung bei F1000Research, dass Artikel zu „lebenden“ Dokumenten des laufenden Forschungsprozesses und der sie umgebenden wissenschaftlichen Debatte werden. Durch die Veröffentlichung der Berichte der Gutachter und deren Integration in den eigentlichen Artikel (sie sind beispielsweise auch im PDF und auf PubMed Central enthalten) bietet das Peer-Review einen Mehrwert, der allgemeiner geschätzt wird, während den Gutachtern gleichzeitig die volle Anerkennung zuteil wird, die sie erhalten für ihren Beitrag verdienen.