Zur Feier der Peer-Review-Woche haben Vertreter von ORCID, ScienceOpen, Sense About Science und Wiley kamen (virtuell) zusammen, um zu diskutieren, warum Peer-Review für sie und ihre Organisationen wichtig ist und was sie diese Woche erreichen wollen.
Vielen Dank an die Teilnehmer: Stephanie Dawson (CEO, ScienceOpen), Chris Graf (New Business Director, Professional Innovations for Associations and Societies, Wiley), Peter Gregory (Chefredakteur Advanced Materials, VP und Publishing Director, Wiley), Laure Haak (Geschäftsführer, ORCID), Emily Jesper (stellvertretende Direktorin, Sense about Science)
(von links nach rechts: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stephanie Dawson (SD): Als ich als Zeitschriftenmanager beim De Gruyter-Verlag anfing, erhielt ich von jedem Manuskript drei Exemplare, die ich in Umschläge steckte und per Post nach Japan oder Argentinien schickte, in der Hoffnung, dass der ausgewählte Peer-Reviewer Zeit für die Begutachtung hätte. Seitdem hat sich viel verändert und vieles auch nicht. Einige Gutachter halfen Autoren äußerst gewissenhaft bei der Verbesserung ihrer Arbeiten, andere schickten eine dreizeilige Absage. Ich habe wirklich aus erster Hand gesehen, wie heterogen der Prozess sein kann, und wünschte, ich könnte jedem Gutachter persönlich danken, der sich die Mühe gemacht hat, seinen Kollegen wirklich zu helfen.
Beim Forschungs- und Publikationsnetzwerk ScienceOpen ist eine unserer besonderen Rollen neben einem Gold Open Access (OA)-Herausgeber und Inhaltsaggregator die eines Peer-Review-Reformers. Unser Ziel ist es, das Vertrauen in den Peer-Review-Prozess zu stärken, indem wir ihn völlig transparent gestalten. Dann kann jeder die Gutachter sehen (und ihnen sogar danken), die hervorragende Arbeit leisten, um die Qualität der wissenschaftlichen Kommunikation zu verbessern.
Wir haben einen neuartigen Workflow eingesetzt, um die Wirksamkeit eines anderen Peer-Review-Ansatzes und seine Eignung für die digitale Zukunft der wissenschaftlichen Kommunikation zu demonstrieren, die unserer Meinung nach beschleunigt werden muss und die Veröffentlichung von viel mehr digitalen Objekten als dem aktuellen Einzelartikel erfordern wird Einheit.
Chris Graf (CG): Apropos neuartige Arbeitsabläufe: Mich persönlich interessiert, wie die Peer-Reviews vor und nach der Veröffentlichung in Kombination ein besseres System ergeben.
Das Peer-Review vor der Veröffentlichung validiert und organisiert die Forschung und leistet im Großen und Ganzen hervorragende Arbeit. Aber – seien wir ehrlich – manchmal liegt es spektakulär daneben. Und hier kommt das Peer-Review nach der Veröffentlichung ins Spiel.
Peer-Review nach der Veröffentlichung kann bei der Kontextualisierung und Kuratierung helfen und – was für mich spannend ist – vielleicht auch einen leichter zugänglichen Einstiegspunkt für Leser bieten (z. B. Kommentare in PubPeer, PubMed Commons, Metriken und mehr in Kudos, eine Orientierungshilfe für Leser und eine Hilfeoberfläche). Artikel). Und – ja – die Peer-Reviews nach der Veröffentlichung beseitigen den gelegentlichen schlechten Apfel. Was wichtig ist.
Abschließend müssen wir innehalten und darüber nachdenken – und eine öffentliche Diskussion darüber führen –, ob wir einen peer-reviewten Artikel als absolut, endgültig, endgültig und 100 % korrekt betrachten sollten, nur weil er peer-reviewt ist. Könnte es realistischer sein, einen von Experten begutachteten Artikel als einen Schritt auf einer (ziemlich mühsamen) Forschungsreise zu betrachten, auf der wir damit rechnen müssen, Fehltritte zu machen, falsche Abzweigungen zu machen, zu stolpern und neue Richtungen einzuschlagen, bevor wir unser endgültiges Ziel erreichen: Die Antwort. Dieser Weg besteht aus vielen Schritten, und viele Forschungsergebnisse liefern die Beweise, die wir als Grundlage für Praxis und Politik verwenden.
Laure Haak (links): Ich stimme Ihrem letzten Punkt voll und ganz zu, aber ist das im Hinblick auf die Validierung wirklich das, was Peer-Reviews bewirken? Soll es der Filter sein, der besagt, dass diese Arbeit die richtige Methodik und Statistik verwendet hat (im Fall einer wissenschaftlichen Arbeit), oder suchen wir wirklich nach dem Peer-Reviewer, der den logischen Ablauf der Arbeit beurteilt? Wer trägt letztendlich die Verantwortung, wenn sich herausstellt, dass das Papier „betrügerisch“ ist? Können wir wirklich erwarten/wollen, dass diese Last auf dem Rezensenten lastet?
Emily Jesper (EJ): Und was Chris über die Rolle von Peer-Reviews bei der Information über Praxis und Politik angeht: Natürlich ist Peer-Review nicht nur für wissenschaftliche Forscher von Bedeutung. Da es darauf hinweist, dass die Forschung von unabhängigen Experten auf diesem Gebiet geprüft wurde, ist das Peer-Review ein wichtiger Gesichtspunkt für politische Entscheidungsträger, Reporter und die Öffentlichkeit bei der Abwägung von Forschungsansprüchen und Debatten über die Wissenschaft. Den Status von Forschungsansprüchen zu verstehen ist hilfreich. Es hilft uns, Ansprüche abzuwägen und Beweise zu nutzen, um Entscheidungen zu treffen. Seit der Gründung von Sense About Science im Jahr 2002 arbeiten wir daran, das Verständnis von Peer-Review breiter zu verbreiten. Unser öffentlicher Leitfaden zum Peer-Review „Ich weiß nicht, was ich glauben soll“ regt Menschen dazu an, zu fragen: „Wird es einem Peer-Review unterzogen?“ bei der Abwägung wissenschaftlicher Behauptungen.
Peter Gregory (PSG): Obwohl Sie Recht haben, dass Peer-Review eine umfassendere Bedeutung hat, ist es für Wiley vor allem deshalb wichtig, weil es für die wissenschaftliche Gemeinschaft, der wir dienen, wichtig ist. Neben der Einholung von Meinungen und der Verbesserung von Beiträgen stellt Peer-Review insbesondere in den Naturwissenschaften und der Medizin auch ein Sicherheitsventil dar, das die Verbreitung falscher oder sogar gefährlich fehlerhafter Artikel verhindert.
LH: Ja, Peer-Review ist ein zentraler Bestandteil der wissenschaftlichen Praxis. Dabei handelt es sich um eine etablierte Reihe von Methoden, um Kommentare zu wissenschaftlichen Arbeiten (Aufsätze, Bücher, Stipendien, Programme usw.) von Kollegen – Experten auf diesem Gebiet – einzuholen, mit dem Endziel, die Arbeit zu verbessern. ORCID ist an Peer-Review interessiert, weil Menschen beteiligt sind, sowohl Werkschaffende als auch Gutachter. Wir arbeiten mit der Community zusammen, um digitale Methoden zu entwickeln, um die Beiträge von Gutachtern durch Zitieren von Peer-Review-Aktivitäten zu würdigen. Dadurch hoffen wir, Wissenschaftler zu ermutigen, sich als Gutachter zu beteiligen, und auch andere zu unterstützen, die an Fragen des Vertrauens im Begutachtungsprozess arbeiten.
SD: Ich liebe die Idee des Machens ORCID der Ort, an dem Forscher ihre Begutachtungsaktivitäten protokollieren können. ScienceOpen versucht, diesem Problem mit offenen Bewertungen zu begegnen, die über einen registrierten CrossRef-DOI verfügen. Auch Publons leistet hier gute Arbeit und unterstützt Gutachter in Blind-Peer-Review-Zeitschriften. Im Falle einer Blindbegutachtung vergewissern sie sich bei Verlagen, dass ein Rezensent tatsächlich die von ihm behauptete Arbeit geleistet hat – derzeit wäre es für einen Forscher einfach, „Rezension für Nature and Cell“ in seinen Lebenslauf aufzunehmen, da es keine Möglichkeit gibt, dies zu überprüfen dies in unserem aktuellen Blindbewertungssystem. Auch hier sind Vertrauen und Transparenz der Schlüssel.
PSG: Ich hoffe, dass diese Peer-Review-Woche dazu beitragen wird, die Diskussion über Peer-Review zu intensivieren und die Teilnehmer (Verleger, Autoren, Herausgeber, Gutachter, Geldgeber usw.) für die Unterschiede in der Art und Weise zu sensibilisieren, wie Peer-Review angewendet wird und in verschiedenen Communities nützlich ist. In einigen Bereichen werden Meinungen gesammelt, in anderen basieren sie eher auf Fakten. Manche profitieren von der Verbreitung im Vordruck (ich meine vor der Begutachtung und Veröffentlichung), andere werden dadurch geschädigt; Für einige ist die Überprüfung nach der Veröffentlichung innovativ, für andere gefährlich. Dies führt mich zu dem Schluss, dass diejenigen, die an der Verbesserung/Änderung von Peer-Reviews arbeiten, sorgfältig bedenken sollten, dass es nicht eine Einheitslösung gibt, die für alle passt.
SD: Ich stimme zu, dass es keine „Einheitslösung“ geben wird, sondern dass verschiedene Gemeinschaften auch voneinander lernen können, insbesondere da die zunehmende interdisziplinäre Forschung sie zusammenbringt. Ein gutes Beispiel ist der Life-Science-Preprint-Server BioRxiv, der auf den positiven Preprint-Erfahrungen der Physik-Community mit arXiv aufbaut. Im neuen Bereich der Bioinformatik stellten die Informatiker ihre Preprints einfach auf arXiv ein, und der Forscher, der eher aus den Lebenswissenschaften kommt, fragte: „Was ist das?“ Es ist also etwas wirklich Interessantes, dass ich genau an diesen Reibungspunkten aufgewachsen bin. Auch der neue Trend zu Mega-Journals wie PLoS One, SpringerOpen und Scientific Reports erfordert ein Umdenken bei Peer-Reviews, um einer breiten Palette von Communities gerecht zu werden, und all diese Zeitschriften haben sich darauf beschränkt, von den Gutachtern lediglich die Überprüfung der wissenschaftlichen Stichhaltigkeit der Ergebnisse zu verlangen. Dies könnte uns einige Hinweise darauf geben, was der gemeinsame Nenner des Peer-Reviews in Zukunft sein könnte.
LH: Die Idee eines gemeinsamen Nenners ist wirklich entscheidend und genau die Art von Diskussion, die die Peer-Review-Woche meiner Hoffnung nach hervorrufen wird – indem sie die laufende Diskussion über Peer-Review anregt und konzentriert und dadurch hervorbringt, was in der Praxis getan wird, um Verbesserungen zu unterstützen .
SD: Aus Sicht von ScienceOpen möchten wir in dieser Peer-Review-Woche eine einfache Frage stellen. Wird die Forschungsgemeinschaft angesichts der wachsenden und vielfältigeren Forschungsergebnisse (Datensätze, negative Ergebnisse, Fallberichte, Vorabdrucke, Poster usw.) in der Lage sein, alle diese Objekte vor der Veröffentlichung einem Peer-Review zu unterziehen? Wir denken nicht. Es gibt nicht genug Zeit am Tag, Geld, um es zu bezahlen, oder auch nur die Lust, es jetzt zu tun. Werden diese Ergebnisse dennoch nützlich sein? Auf jeden Fall, wenn wir eine leistungsstarke Möglichkeit haben, sie anhand von Parametern zu finden und zu filtern, finden Leser sie hilfreich und Autoren lohnend. Zum Beispiel:
- Was denken meine Kollegen über diese Informationen?
- Gibt es Updates dazu?
- Welche Auswirkungen hatte es auf die Welt und wer hat es bemerkt?
- Welche Arbeit ist in einem bestimmten Bereich hervorzuheben?
- Wie oft wurde es zitiert und wo?
- Kann mein Beitrag gefunden und zitiert werden, wenn ich mir die Zeit genommen habe, ihn zu lesen?
- Werden diese Bemühungen meine Karriereaussichten verbessern?
- Wie oft wurde es zitiert und wo?
Keine dieser berechtigten Fragen wird von einer Entwicklung weg vom blinden oder doppelblinden anonymen Peer-Review beeinflusst, abgesehen von der Geschwindigkeit, mit der wir sie beantworten können. Transparente Prozesse und einfache Web-Tools können schneller, besser und kostengünstiger filtern, als es Zeitschriften und Peer-Reviews vor der Veröffentlichung jemals könnten.
Aus diesem Grund haben wir bei ScienceOpen Systeme für die Peer-Review nach der Veröffentlichung entwickelt; Versionierung; DOI-Zuordnung; Artikelmetriken; Sammlungen; Open Citation Information und mehr – um einen anderen (und wir würden besser argumentieren) Weg nach vorne aufzuzeigen.
LH: Ich bin mir nicht sicher, ob ich der Meinung bin, dass Peer-Reviews nicht nachhaltig sind. Ich denke, wenn wir als Community Leitlinien dazu bereitstellen, was es bedeutet, bestimmte Arten von Inhalten einer Peer-Review zu unterziehen, dann sind wir möglicherweise auf einem guten Weg, die Überprüfung eines breiteren Spektrums von Ergebnissen zu unterstützen. Wir müssen Fragen klären wie: Wer ist für den Inhalt verantwortlich? Welche Rolle spielt der Autor/Berater/Arbeitgeber/Herausgeber/Rezensent? Das ist grundlegend. Bei einigen dieser „neuen“ Inhalte, wie z. B. Datensätzen, muss möglicherweise ein Prüfer prüfen, ob die Metadaten ausreichend beschreibend sind und ob die Datenablage/der Datenzugriff/die Langzeitspeicherung gemäß dem Datenverwaltungsplan berücksichtigt wird. Und obwohl mir Ihre Vorschläge zum Suchen und Filtern von Forschungsergebnissen gefallen, ist nichts davon relevant, wenn der Datensatz (z. B.) auf einem Datenstick in der Schublade einer anderen Person liegt. Ein Peer-Reviewer kann eine entscheidende Rolle dabei spielen, sicherzustellen, dass Datensätze erhalten bleiben und der Zugriffspfad dauerhaft beschrieben wird, sodass er zitierbar ist. Das Gleiche gilt für andere Arten von Ausgaben.
SD: Es gibt viele Verlage und Organisationen, die überdenken, was Peer-Review wirklich bewirken soll, und neue Dienste schaffen, um dies zu unterstützen – manchmal sogar zu viele aus der Sicht des Wissenschaftlers, der sich von neuen Definitionen und Entscheidungen überfordert fühlt. Ich denke auch, dass es während dieser Peer-Review-Woche wichtig ist, zu zeigen, wie Innovationen in diesem Bereich wirklich entstehen, um Gutachter und die fantastische Arbeit, die sie leisten, zu unterstützen. Daher hoffe ich, dass wir diese Woche eine Anerkennung für die neuen Peer-Review-Modelle erleben werden, die heute existieren und von kleinen Start-up-Organisationen wie ScienceOpen und The Winnower sowie anderen wie F1000Research und PeerJ demonstriert werden. Und dass die Diskussionen über Peer Review bereits über interessante Gespräche zwischen Akademikern hinausgegangen sind und Softwareentwickler und -herausgeber einbeziehen, die in überwiegend kommerziellen Unternehmen arbeiten und gut darin sind, Innovationen Wirklichkeit werden zu lassen.
Es bleibt jedoch die offene Frage: „Kann die wissenschaftliche Gemeinschaft diese neuen Möglichkeiten nutzen, da der Ort, an dem ein Forscher veröffentlicht, immer noch von der Auswirkung der Forschungsergebnisse selbst auf den beruflichen Aufstieg abhängt?“ Es ist keine leichte Aufgabe, sich dem Einfluss des Impact Factor zu entziehen. Aber jedes neue System muss die Kriterien Vertrauen und Transparenz erfüllen.
LH: Ich glaube nicht, dass das Problem am Impact-Faktor liegt. Ich denke, der Sinn dieser Woche besteht darin, Peer Review in seiner ganzen Vielfalt zu nutzen und daran zu arbeiten, seine Kernfunktion im wissenschaftlichen Diskurs zu verstehen. Für Chris oben ist Peer-Review Teil einer Reise. Unterschiedliche Disziplinen, unterschiedliche Themen profitieren von unterschiedlichen Geschmacksrichtungen, alle sind gut. Konzentrieren wir uns auf den Prozess selbst und nicht so sehr auf den Container (z. B. Journal/Serviceplattform).
EJ: Und vergessen wir auch nicht, dass die Öffentlichkeit über Peer-Review Bescheid wissen muss und daher Wissenschaftler und Verleger darüber sprechen sollten. Die Peer-Review-Woche ist eine großartige Gelegenheit für Forscher, innezuhalten und über die umfassendere Rolle nachzudenken, die Peer-Review in der Gesellschaft bei der Aufrechterhaltung der Qualität in der Wissenschaft spielt, und diese breiter zu teilen. Ich hoffe insbesondere, dass wir von Nachwuchsforschern erfahren, warum Peer-Review für sie wichtig ist, und dass wir diese wichtige, ehrenamtliche Rolle der Forscher stärker anerkennen. Es wird Forschern auch die Möglichkeit geben, mehr über die fantastischen Ressourcen, Workshops und Schulungsmöglichkeiten zu erfahren, die im Peer-Review verfügbar sind.