為了慶祝同行評審週,來自 ORCID、ScienceOpen、Sense About Science 和 Wiley(虛擬)聚在一起討論為什麼同行評審對他們及其組織很重要,以及他們希望本週能夠實現什麼目標。
非常感謝參與者 Stephanie Dawson(ScienceOpen 首席執行官)、Chris Graf(Wiley 協會和社團專業創新新業務總監)、Peter Gregory(《先進材料》主編、Wiley 副總裁兼出版總監)、Laure Haak (執行董事, ORCID),Emily Jesper(科學意識助理主任)
(從左到右:斯蒂芬妮·道森、克里斯·格拉夫、彼得·格雷戈里、勞爾·哈克、艾米麗·傑斯珀)
斯蒂芬妮·道森(SD): 當我剛開始在 De Gruyter 出版社擔任期刊經理時,我通常會收到每份稿件的三份副本,我將它們放入信封中並通過郵寄方式發送到日本或阿根廷,並希望選定的同行評審員有時間進行評審。 從那時起,發生了很多變化,但也沒有什麼變化。 一些審稿人非常認真地幫助作者改進論文,另一些審稿人只用了三行就拒絕了。 我確實親眼目睹了這個過程的異構性,並希望我能親自感謝每一位努力真正幫助同事的審稿人。
在研究和出版網絡 ScienceOpen 中,除了金牌開放獲取 (OA) 出版商和內容聚合商之外,我們的獨特角色之一就是同行評審改革者。 我們的目標是通過使其完全透明來增強對同行評審過程的信任。 然後每個人都可以看到(甚至感謝)那些為提高科學傳播質量所做的出色工作的審稿人。
我們部署了一種新穎的工作流程來展示不同同行評審方法的有效性及其對學術交流數字化未來的適用性,我們認為學術交流需要加快速度並涉及比當前單篇文章更多的數字對象的出版單元。
克里斯·格拉夫(CG): 說到新穎的工作流程,我個人對出版前和出版後同行評審的結合如何打造更好的系統感興趣。
發表前同行評審驗證並組織研究,總體來說它做得很好。 但是——說實話——有時會犯大錯。 這就是發表後同行評審的用武之地。
出版後同行評審可以幫助情境化、策劃,並且——令我興奮的是——也許還可以為讀者提供更容易訪問的切入點(例如,PubPeer、PubMed Commons 中的評論、Kudos 中的指標等),為讀者提供指導並幫助浮現表面。文章)。 而且——是的——發表後的同行評審會剔除掉偶爾出現的壞蘋果。 這很重要。
最後,我們需要停下來思考並進行公開討論,我們是否應該僅僅因為經過同行評審而將同行評審的文章視為絕對的、明確的、最終的和 100% 正確的。 將同行評審的文章視為(相當曲折的)研究旅程中的一步是否更現實,在我們到達最終目的地之前,我們可能會犯錯、走錯彎、絆倒並採取新的方向:答案。 這一旅程由許多步驟組成,許多研究提供了我們用來指導實踐和政策的證據。
勞爾·哈克(左): 我完全同意你的最後一點,但是就驗證而言,這真的是同行評審的作用嗎? 是否應該是過濾器說,這篇論文使用了正確的方法和統計數據(在科學論文的情況下),或者我們真的在尋找同行評審員來評估論文的邏輯流程? 歸根結底,如果論文被發現“造假”,誰的責任? 我們真的可以期望/我們希望審稿人承擔重任嗎?
艾米麗·傑斯珀(EJ): 對於克里斯關於同行評審在為實踐和政策提供信息方面的作用的觀點,同行評審當然不僅僅對科學研究人員具有重要意義。 因為它表明研究已經過該領域獨立專家的審查,所以同行評審是政策制定者、記者和公眾在權衡研究主張和科學辯論時的重要考慮因素。 了解研究主張的現狀是有力量的。 它幫助我們權衡主張並利用證據做出決定。 自 Sense About Science 於 2002 年成立以來,我們一直致力於讓人們更廣泛地了解同行評審。 我們的同行評審公共指南《我不知道該相信什麼》鼓勵人們問“這是同行評審嗎?” 在權衡有關科學的主張時。
彼得·格雷戈里(巴黎圣日耳曼): 儘管你說的對,同行評審確實具有更廣泛的意義,但它對 Wiley 來說很重要,主要是因為它對我們所服務的學術界很重要。 除了收集意見和改進貢獻之外,同行評審還提供了一個安全閥,特別是在科學和醫學領域,可以防止分發不正確甚至危險的錯誤文章。
LH: 是的,同行評審是學術實踐的核心組成部分。 它是一套既定的方法,用於收集同行(該領域的專家)對學術作品(論文、書籍、資助、項目等)的評論,最終目標是改進工作。 ORCID 對同行評審感興趣是因為人們都參與其中,包括作品的創作者和評審者。 我們正在與社區合作開發數字方法,通過引用同行評審活動來認可審稿人的貢獻。 通過這一點,我們希望鼓勵學者作為審稿人參與,並支持其他在審稿過程中致力於解決信任問題的人。
SD: 我喜歡製作的想法 ORCID 研究人員可以記錄其審閱活動的地方。 ScienceOpen 正在嘗試通過已註冊 CrossRef DOI 的公開評論來解決這個問題。 Publons 在這方面也做得很好,並為盲審期刊的審稿人提供支持。 在盲審的情況下,他們會與出版商核實審稿人確實完成了他們聲稱的工作——現在研究人員很容易在他們的簡歷中添加“對 Nature 和 Cell 的審閱”,因為沒有辦法驗證這在我們目前的盲審系統中。 信任和透明度再次成為關鍵。
巴黎圣日耳曼: 我希望本次同行評審週將有助於加強同行評審的討論,並開始提高參與者(出版商、作者、編輯、審稿人、資助者等)對同行評審應用方式的差異以及在不同社區中的作用的認識。 有些領域收集意見,有些則更基於事實; 有些受益於預印本流通(我的意思是在同行評審和出版之前),有些則因此受到損害; 對於某些人來說,發表後審查是創新的,而對於某些人來說,這是危險的。 這使我得出這樣的結論:那些致力於改進/改變同行評審的人應該仔細考慮一種方法並不適合所有人。
SD: 我同意不會有一個“一刀切”的解決方案,但不同的社區也可以互相學習,特別是隨著跨學科研究的增加將它們吸引到一起。 生命科學預印本服務器 BioRxiv 就是一個很好的例子,它建立在物理學界對 arXiv 的積極預印本經驗之上。 在生物信息學這個新領域,計算機科學家實際上只是將他們的預印本放在 arXiv 上,而來自生命科學的研究人員更多地問“那是什麼?” 所以,在我成長的過程中,一些非常有趣的事情就是在這些摩擦點上發生的。 此外,PLoS One、SpringerOpen、Scientific Reports 等大型期刊的新趨勢需要重新考慮同行評審以適應廣泛的社區,而所有這些期刊都歸結為要求審稿人只審查結果的科學合理性。 因此,這可能會給我們一些線索,讓我們了解同行評審的共同點可能會向前發展。
LH: 共同點的想法確實很關鍵,這正是我希望同行評審週能夠引發的討論——激發並集中正在進行的關於同行評審的對話,並在此過程中提出實踐中正在採取的措施來支持改進。
SD: 從 ScienceOpen 的角度來看,在本次同行評審周中,我們想提出一個簡單的問題。 隨著研究成果數量的增長和多樣化(數據集、負面結果、案例報告、預印本、海報……),研究界是否能夠在發表之前對所有這些對象進行同行評審? 我們認為不是。 一天中沒有足夠的時間,沒有足夠的錢來支付費用,甚至現在沒有興趣這樣做。 這些輸出仍然有用嗎? 當然,如果我們有一種強大的方法來根據參數查找和過濾它們,那麼讀者會覺得有幫助,作者也會覺得有價值。 例如:
- 我的同行對此信息有何看法?
- 有更新嗎?
- 它對世界產生了什麼影響?誰注意到了?
- 在特定領域,哪些工作值得重點關注?
- 它被引用了多少次以及在哪裡?
- 如果我花時間對其進行審閱,我的貢獻可以被發現並被引用嗎?
- 這些努力會改善我的職業前景嗎?
- 它被引用了多少次以及在哪裡?
除了我們回答這些問題的速度之外,這些有效的問題都不會受到盲目或雙盲匿名同行評審的演變的影響。 透明的流程和簡單的網絡工具可以比期刊和出版前同行評審更快、更好、更便宜地進行過濾。
這就是為什麼在 ScienceOpen 我們開發了發表後同行評審系統; 版本控制; DOI 分配; 文章指標; 收藏品; 開放引文信息等——展示不同的(我們認為更好的)前進方向。
LH: 我不確定我是否同意同行評審是不可持續的。 我認為,如果我們社區就同行評審某些類型的內容的含義提供指導,那麼我們可能會很好地支持對更廣泛的產出進行評審。 我們需要解決這樣的問題:誰對內容負責? 作者/顧問/雇主/編輯/審稿人的角色是什麼? 這是根本性的。 其中一些“新”內容(例如數據集)可能需要審閱者檢查元數據是否具有足夠的描述性,以及數據存儲/訪問/長期保存是否按照數據管理計劃進行說明。 儘管我喜歡您關於查找和過濾研究成果的建議,但如果(例如)數據集位於某人抽屜的數據棒上,那麼這些都無關緊要。 同行評審員可能是確保數據集得到保存並以持久方式描述訪問路徑以使其可引用的關鍵組成部分。 其他類型的輸出也是如此。
SD: 有很多出版商和組織正在重新思考同行評審應該真正實現什麼,並創建新的服務來支持這一點——有時甚至從學者的角度來看,他們可能會對新的定義和選擇感到不知所措。 我還認為,在本次同行評審週期間展示該領域的創新如何真正構建起來以支持審稿人和他們正在做的出色工作也很重要。 因此,我希望本週我們會看到對當今存在的新同行評審模型的認可,並由小型初創組織(例如 ScienceOpen 和 The Winnower)以及其他組織(例如 F1000Research 和 PeerJ)進行演示。 關於同行評審的討論已經超越了學術界之間有趣的對話,涉及到在大多數商業實體中工作的軟件開發人員和出版商,這些實體擅長使創新成為現實。
然而,懸而未決的問題仍然是“科學界能否擁抱這些新機會,因為研究人員發表論文的地點仍然與研究成果本身對職業發展的影響有關?”。 打破影響因子的控制絕非易事。 但任何新系統都必須滿足信任和透明度的標準。
LH: 我認為問題不在於影響因子。 我認為本週的重點是接受同行評審的多樣性,並努力理解其在學術話語中的核心功能。 對於克里斯上面的觀點,同行評審是旅程的一部分。 不同的學科、不同的主題會受益於不同的味道,但都很好。 讓我們關注流程本身,而不是容器(例如,日誌/服務平台)。
EJ: 我們也不要忘記,公眾需要了解同行評審,因此科學家和出版商應該談論它。 同行評審週為研究人員提供了一個很好的機會,讓他們停下來思考同行評審在維持科學質量方面在社會中發揮的更廣泛的作用,並更廣泛地分享這一點。 我特別希望我們能從早期職業研究人員那裡聽到為什麼同行評審對他們很重要,並更多地認識到研究人員發揮的這一重要的、自願的作用。 它還將使研究人員有機會了解同行評審方面的優質資源、研討會和培訓機會。