为庆祝同行评审周,来自 ORCID、ScienceOpen、Sense About Science 和 Wiley 聚在一起(实际上)讨论同行评审为何重要——对他们和他们的组织——以及他们希望本周将实现的目标。
非常感谢参与者 Stephanie Dawson(ScienceOpen 首席执行官)、Chris Graf(Wiley 协会和社会专业创新新业务总监)、Peter Gregory(Advanced Materials 主编、副总裁兼 Wiley 出版总监)、Laure Haak (执行董事, ORCID), Emily Jesper(科学意识助理总监)
(从左到右:Stephanie Dawson、Chris Graf、Peter Gregory、Laure Haak、Emily Jesper)
斯蒂芬妮道森(SD): 当我刚开始在 De Gruyter 出版社担任期刊经理时,我曾经收到每份手稿的三份副本,我把它们装在信封里邮寄到日本或阿根廷,希望被选中的同行评审员有时间进行评审。 从那时起发生了很多变化,但没有发生很多变化。 一些审稿人在帮助作者改进论文方面做得非常尽职尽责,其他人则以三行方式拒绝了。 我真的亲眼目睹了这个过程的异质性,并希望我能亲自感谢每一位努力真正帮助他们的同事的审稿人。
借助研究和出版网络 ScienceOpen,除了金牌开放获取 (OA) 出版商和内容聚合商之外,我们的独特角色之一是同行评审改革者。 我们的目标是通过使其完全透明来增强对同行评审过程的信任。 然后每个人都可以看到(甚至感谢)那些在提高科学传播质量方面做得非常出色的审稿人。
我们已经部署了一个新颖的工作流程来证明不同的同行评审方法的有效性及其对学术交流的数字未来的适用性,我们认为这需要加快并涉及比当前单篇文章更多的数字对象的出版单元。
克里斯·格拉夫(CG): 说到新颖的工作流程,我个人对如何结合发表前和发表后的同行评审将形成更好的系统感兴趣。
出版前同行评审验证和组织研究,主要是它做得很好。 但是——老实说——有时会大错特错。 这就是发表后同行评审的用武之地。
出版后同行评审可以帮助情境化、策划,而且——令我兴奋的是——也许还为读者提供了更容易访问的切入点(例如,PubPeer、PubMed Commons 中的评论、Kudos 中的指标等,为读者提供指导并帮助浮出水面文章)。 而且 - 是的 - 发表后同行评审剔除了偶尔的坏苹果。 这很重要。
最后,我们需要停下来思考——并进行公开讨论——我们是否应该仅仅因为经过同行评审就将同行评审的文章视为绝对的、确定的、最终的和 100% 正确的。 将同行评审的文章视为(相当曲折的)研究旅程的一步可能更现实,在此过程中,我们可能会犯错、走错路、跌跌撞撞,并在到达最终目的地之前采取新的方向:答案。 许多步骤构成了这一旅程,许多研究构成了我们用来为实践和政策提供信息的证据。
劳尔·哈克 (LH): 我完全同意你的最后一点,但就验证而言,这真的是同行评审所做的吗? 是否应该是过滤器表明,这篇论文使用了正确的方法和统计数据(在科学论文的情况下),还是我们真的在寻找同行评审员来评估论文的逻辑流程? 归根结底,如果发现论文“造假”是谁的责任? 我们真的可以期望/我们希望审查者的权重吗?
艾米丽·杰斯珀(EJ): 对于 Chris 关于同行评审在为实践和政策提供信息方面的作用的观点,当然同行评审不仅对科学研究人员具有重要意义。 因为它表明研究已由该领域的独立专家审查,所以同行评审是决策者、记者和公众在权衡研究主张和科学辩论时的重要考虑因素。 了解研究声明的状态是很有帮助的。 它帮助我们权衡主张并使用证据做出决定。 自 Sense About Science 于 2002 年成立以来,我们一直致力于更广泛地普及对同行评审的理解。 我们的同行评审公共指南《我不知道该相信什么》鼓励人们问“是否经过同行评审?” 在权衡有关科学的主张时。
彼得格雷戈里(巴黎圣日耳曼): 尽管同行评审确实具有更广泛的意义是对的,但它对 Wiley 很重要,主要是因为它对我们所服务的学术界很重要。 除了收集意见和改进贡献之外,同行评审还提供了一个安全阀,特别是在科学和医学领域,防止不正确甚至危险的错误文章的分发。
LH: 是的,同行评审是学术实践的核心组成部分。 它是从同行(该领域的专家)那里收集对学术作品(论文、书籍、资助、计划等)的评论的一套既定方法,最终目标是改进工作。 ORCID 对同行评审感兴趣,因为人们参与其中,包括作品的创作者和评审者。 我们正在与社区合作开发数字方法,通过引用同行评审活动来承认评审员的贡献。 通过这种方式,我们希望鼓励学者作为审稿人参与,并支持其他在审稿过程中处理信任问题的人。
SD: 我喜欢制作的想法 ORCID 研究人员可以记录他们的审查活动的地方。 ScienceOpen 正试图通过具有注册 CrossRef DOI 的开放评论来解决这个问题。 Publons 在这方面也做得很好,并支持盲审同行评审期刊的审稿人。 在盲审的情况下,他们正在与出版商核实审稿人确实完成了他们声称的工作——现在,研究人员很容易在他们的简历中添加“对自然和细胞的评论”,因为没有办法验证这在我们目前的盲审系统中。 同样,信任和透明度是关键。
PSG: 我希望这个同行评审周将有助于加强对同行评审的讨论,并开始让参与者(出版商、作者、编辑、审稿人、资助者等)了解同行评审在不同社区中的应用和有用方式的差异。 有些领域收集意见,有些则更基于事实; 有些受益于预印本流通(我的意思是在同行评审和出版之前),有些则受到了损害; 对于某些发表后评论是创新的,对于某些则是危险的。 这使我得出结论,那些致力于改进/改变同行评审的人应该仔细考虑一种方法并不适合所有人。
SD: 我同意不会有“一刀切”的解决方案,但不同的社区也可以相互学习,尤其是随着跨学科研究的增加将它们聚集在一起。 一个很好的例子是生命科学预印本服务器 BioRxiv,它建立在物理学界对 arXiv 的积极预印本经验之上。 在生物信息学这个新领域,计算机科学家其实只是把他们的预印本放在了arXiv上,而更多来自生命科学领域的研究人员问“那是什么?” 所以我在那些摩擦点上长大的东西真的很有趣。 此外,诸如 PLoS One、SpringerOpen、Scientific Reports 等大型期刊的新趋势需要重新考虑同行评审以适应广泛的社区,所有这些期刊都归结为要求评审员只评审结果的科学合理性。 因此,这可能会为我们提供一些线索,了解同行评审的共同点可能会向前发展。
LH: 共同点的想法真的很关键,正是我希望同行评审周将产生的那种讨论——刺激和集中正在进行的同行评审对话,并在这样做时,提出实践中正在做的事情以支持改进.
SD: 从 ScienceOpen 的角度来看,这个同行评审周,我们想提出一个简单的问题。 随着研究成果数量的增长和多样化(数据集、负面结果、案例报告、预印本、海报……),研究界是否能够在发表之前对所有这些对象进行同行评审? 我们认为不是。 一天中没有足够的时间,没有足够的钱来支付它,甚至没有兴趣现在做这件事。 这些输出仍然有用吗? 绝对的,如果我们有一种强大的方法可以根据读者认为有用的参数来查找和过滤它们,而作者则认为很有价值。 例如:
- 我的同龄人如何看待这些信息?
- 有任何更新吗?
- 它对世界产生了什么影响,谁注意到了?
- 哪些工作在特定领域值得强调?
- 它被引用了多少次,在哪里引用?
- 如果我花时间审阅它,我的贡献能被找到并被引用吗?
- 这些努力会提升我的职业前景吗?
- 它被引用了多少次,在哪里引用?
除了我们回答问题的速度之外,这些有效问题都不会受到从盲目或双盲匿名同行评审演变而来的影响。 透明的流程和简单的网络工具可以比期刊和出版前同行评审更快、更好、更便宜地过滤。
这就是为什么在 ScienceOpen,我们开发了出版后同行评审系统; 版本控制; DOI 分配; 文章指标; 收藏; 开放引文信息等 – 展示不同的(我们会争论得更好)前进的方式。
LH: 我不确定我是否同意同行评审是不可持续的。 我在想,如果我们社区就对某些类型的内容进行同行评审意味着什么提供指导,那么我们可能会很好地支持对更广泛的输出集进行评审。 我们需要解决诸如谁对内容负责? 作者/顾问/雇主/编辑/审稿人的角色是什么? 这是基本的。 其中一些“新”内容(例如数据集)可能需要审核员检查元数据是否具有足够的描述性,并且是否按照数据管理计划考虑了数据存储/访问/长期保存。 尽管我喜欢您关于查找和过滤研究输出的建议,但如果(例如)数据集位于某人抽屉中的数据棒上,则这些都无关紧要。 同行评审员可能是确保数据集得到保存并以持久方式描述访问路径以使其可引用的关键组成部分。 其他类型的输出也是如此。
SD: 有很多出版商和组织正在重新思考同行评审应该真正完成什么,并创建新的服务来支持这一点——有时从学者的角度来看甚至太多,他们可能会对新的定义和选择感到不知所措。 我还认为,在本次同行评审周期间,展示该领域的创新是如何真正构建以支持评审人员以及他们所做的出色工作非常重要。 因此,我希望本周我们将看到对当今存在的同行评审新模式的认可,小型初创组织(例如 ScienceOpen 和 The Winnower)以及其他机构(例如 F1000Research 和 PeerJ)正在证明这一点。 而关于同行评审的讨论已经超越了学术界之间有趣的对话,而是涉及在大多数商业实体中工作的软件开发商和出版商,这些实体擅长使创新成为现实。
然而,悬而未决的问题仍然是“科学界能否拥抱这些新机会,因为研究人员发表文章的地方仍然与研究成果本身在职业发展方面的影响相联系?”。 打破影响因子的控制并非易事。 但任何新系统都必须满足信任和透明度的标准。
LH: 我不认为问题是影响因子。 我认为本周的重点是接受 Peer Review 的所有多样性,并努力了解其在学术话语中的核心功能。 对于 Chris 上面的观点,同行评审是旅程的一部分。 不同的学科,不同的话题,会受益于不同的口味,都不错。 让我们关注流程本身,而不是容器(例如,日志/服务平台)。
EJ: 我们也不要忘记公众需要了解同行评审,因此科学家和出版商应该谈论它。 同行评审周是研究人员停下来思考同行评审在保持科学质量和更广泛地分享科学质量方面在社会中发挥的更广泛作用的绝佳机会。 我特别希望我们能从早期职业研究人员那里听到同行评议对他们重要的原因,并对研究人员扮演的这一重要的自愿角色给予更大的认可。 它还将让研究人员有机会了解同行评审中提供的极好的资源、研讨会和培训机会。