Das wissenschaftliche Publizieren steht auf einem Podest – die Gesellschaft betrachtet wissenschaftliche Berichte als die größte Annäherung an die Wahrheit, die wir haben. Wissenschaftler wissen selbst, dass Wissenschaft ein Versuch ist, über Jahrzehnte hinweg zu einer Interpretation zu gelangen, die gemessen und nachweislich am wenigsten falsch ist. Die Wahrheit ist da draußen, aber wir können nur hoffen, ihren Schatten zu sehen.
Dennoch hoffe ich sehr, dass das wissenschaftliche Publizieren weiterhin auf seinem hohen Niveau steht. Ohne das gibt es in der Gesellschaft nur die „faire und ausgewogene“ Kakophonie des Internets, in der jeder die Quacksalberei und Pseudowissenschaft auswählt, die am besten zu seiner jeweiligen Meinungsverkalkung passt.
Auch wenn die Wissenschaft für die Öffentlichkeit auf ihrem Podest steht, ist sie in Wirklichkeit ein magisches Auto, das von Redakteuren gesteuert und durch Peer-Reviews angetrieben wird – Tschitti Tschitti Bäng Bäng!
Redakteure und Peer-Reviewer müssen nach besten Kräften sicherstellen, dass das, was als Wissenschaft berichtet wird, einer fundierten Methodik folgt, so dass es unabhängig überprüft werden kann, und dass die präsentierten Schlussfolgerungen gerechtfertigt aus den verwendeten Daten und Analysen resultieren. Redakteure und Gutachter sollten außerdem feststellen, dass das, was als Wissenschaft berichtet wird, wichtig ist – Ihre Zeit und Aufmerksamkeit als Leser wert ist.
In der akademischen Gemeinschaft herrscht eine deutliche Dissonanz: Einerseits zeigen Umfragen, dass es unter Wissenschaftlern einen breiten Konsens darüber gibt, dass Peer-Review der Eckpfeiler des wissenschaftlichen Publizierens ist; Andererseits herrscht auch die weit verbreitete Auffassung vor, dass Peer-Reviews nicht den Erwartungen genügen und manchmal sogar Probleme verursachen können. Die Fähigkeit des traditionellen Peer-Review-Systems, die Erwartungen zu erfüllen, wird heute zunehmend in Frage gestellt.
Ganz im Sinne der Peer-Review-Woche 2015, die nicht nur Peer-Review feiert und anerkennt, wie viel Zeit Forscher dafür aufwenden, sondern auch eine Gelegenheit für die Community bietet, zu diskutieren, was funktioniert und was nicht, möchte ich das gerne tun Heben Sie einige der Herausforderungen hervor – die störenden Geräusche des Titels – und einige mögliche Lösungen.
Die Begutachtung durch Fachkollegen und das allmähliche Abrutschen einer Ablehnung nach der anderen auf der Prestigeleiter einer Fachzeitschrift führen zu bedeutenden Ergebnissen Verzögerung bei der Veröffentlichung. Zusätzlich zu der Zeit, die Wissenschaftler für die Prüfung angenommener Einreichungen aufwenden, verbringen Wissenschaftler möglicherweise auch Zeit 15 Millionen Stunden Jedes Jahr werden abgelehnte Einsendungen überprüft – das ist keine verlorene Zeit, denn es bedeutet, dass die Filter funktionieren (wenn die Peer-Review immer zur Annahme führen würde, wäre das ein kläglicher Fehler für das System), aber in vielen Fällen könnten die Berichte zur Unterstützung von a verwendet werden positive Entscheidung bei einer anderen Zeitschrift. Peer-Review ist offen für das Risiko einer Voreingenommenheit – Es spielt keine Rolle, ob Nationalität, institutionelles Prestige, Geschlecht, persönliche Beziehungen oder andere Aspekte eine bestimmte Peer-Review- und Veröffentlichungsentscheidung wirklich beeinflussen. Die eigentliche Frage ist: Kann der Autor völlig darauf vertrauen, dass er keinen Einfluss darauf hat? Das Einholen von Peer-Reviews und die Jagd nach versäumten Deadlines ist für die Redaktionen zu einer Belastung albernen Ausmaßes geworden und verschlingt Zeit für die eigentliche wissenschaftliche Betreuung der Ziele und des Umfangs der Zeitschrift. Und Peer-Review ist dem Risiko ausgesetzt glatter Betrug: Im vergangenen Jahr wurden Dutzende von Arbeiten aufgrund betrügerischer Peer-Reviews zurückgezogen.
Für mich ist die größte dieser Herausforderungen jedoch der Verlust der Vertrauenswürdigkeit. Die Qualität des Peer-Reviews schwankt einfach zu stark, ohne dass es eine wirksame Bewertung dieser Qualität und Verfahren gibt, um diese Bewertungen in Veröffentlichungsentscheidungen einfließen zu lassen.
Im aktuellen System gibt es für einen Forscher wohl kaum einen Anreiz, viel Zeit zu investieren und seine volle Aufmerksamkeit und sein Fachwissen in eine Peer-Review-Aufgabe zu stecken. Ich glaube, dass die mangelnde Anerkennung von Peer-Reviews – und der damit verbundene Zeitaufwand – dazu führen, dass sich viele Wissenschaftler damit zufrieden geben, schnell und nicht sorgfältig vorzugehen. Doch ein gutes oder schlechtes Peer-Review kann buchstäblich über das Schicksal der gesamten Karriere eines jungen Forschers entscheiden. Wie viele kluge junge Menschen hat die Wissenschaft verloren, nur weil ein übereiltes und nachlässiges Peer-Review die Veröffentlichung eines wichtigen Manuskripts kurz vor Ablauf der entscheidenden Förderfrist verhinderte und sie zum Aufgeben veranlasste?
Es hat mich irgendwie verloren. Aber ich liebe Tschitti Tschitti Bäng Bäng immer noch.
Daher mein neuer Job: der Bau einer Raffinerie zur Entwicklung eines Kraftstoffs mit höherer Oktanzahl.
At Wissenschaftsstand Wir verfolgen einen zweigleisigen Ansatz zur Verbesserung der Peer-Review-Methode (keine davon ist proprietär, daher hindert nichts Zeitschriften, die Peerage of Science nicht verwenden, daran, diese stattdessen selbst zu implementieren).
Erstens, offenes Engagement – solange Ihre Identität und Qualifikation durch eine vertrauenswürdige externe Quelle bestätigt wurden und Sie nicht über eine Institution oder eine kürzliche Co-Autorenschaft mit den Autoren verbunden sind, können Sie sich für die Begutachtung jedes Manuskripts engagieren. Redakteure können gerne Gutachter empfehlen, verfügen jedoch nicht über das ausschließliche Recht dazu – jeder Peer, einschließlich der Autoren, kann jeden anderen empfehlen. Zweitens werden die Bewertungen selbst einem Peer-Review unterzogen („Peer-Review-of-Peer-Review“). Dies erzeugt einen sehr wirksamen sozialen Druck für Forscher, mehr Zeit und Mühe in die sorgfältige Durchführung von Peer-Review-Arbeiten zu investieren. Darüber hinaus ist der Standardansatz zur Anonymität in Peerage of Science dreifach blind, was bedeutet, dass die Argumente aller – Autoren, Rezensenten, Herausgeber – auf ihrem eigenen wissenschaftlichen Wert beruhen müssen und so wenig wie möglich von Vorurteilen gegen oder für persönliche Faktoren beeinflusst werden dürfen. Obwohl dies jedoch die Standardeinstellung ist und keine bestimmte Sichtweise vorgeschrieben wird, lässt Peerage of Science dem Autor die Wahl.
Als Mitgliedsorganisation von ORCIDPeerage of Science freut sich auch darauf, die neuen standardisierten, zitierfähigen und auflösbaren Aufzeichnungen für Peer-Review-Arbeiten zu unterstützen ORCID Profile. Es ist wichtig, dass die Peer-Review-Arbeit auf eine Art und Weise anerkannt wird, die der Qualität der Arbeit Rechnung trägt. Eine verlässliche Bilanz, die mit den Ergebnissen der Kreuzbewertung und dem Feedback verknüpft ist, ist ein vielversprechender Weg, dies zu erreichen.
Viele andere Organisationen arbeiten wie wir an der Verbesserung des Peer-Review-Systems, sei es durch die Erleichterung der Anerkennung der Arbeit von Peer-Reviewern, durch das Experimentieren mit neuen Formen des Peer-Reviews, durch die Suche nach Möglichkeiten zur Wiederverwendung von Rezensionen abgelehnter Arbeiten und mehr. Wenn wir also – jetzt und in Zukunft – die Peer-Review-Woche feiern, wollen wir alle versuchen, Peer-Review zu etwas zu machen, das den Sockel rechtfertigt und Chitty Chitty Bang Bang jedes Jahr 52 Wochen lang am Laufen hält.
[Bildunterschrift: Tschitti Tschitti Bäng Bäng. Graf Louis Zborowski mit Chitty Bang Bang 1 in Brooklands um 1921. Gemeinfreies Bild über Wikipedia.]