동료 검토 주간을 기념하기 위해 ORCID, ScienceOpen, Sense About Science 및 Wiley가 (가상으로) 모여 피어 리뷰가 그들과 그들의 조직에 중요한 이유와 이번 주에 달성하기를 바라는 것에 대해 논의했습니다.
참가자 Stephanie Dawson(CEO, ScienceOpen), Chris Graf(Wiley, 협회 및 사회를 위한 전문 혁신 부문 신규 사업 이사), Peter Gregory(Wiley Advanced Materials, VP 및 출판 이사 편집장), Laure Haak에게 많은 감사를 드립니다. (전무이사, ORCID), Emily Jesper(Sense about Science의 부국장)
(왼쪽에서 오른쪽으로: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
스테파니 도슨(SD): De Gruyter 출판사에서 저널 매니저로 일을 시작했을 때 저는 각 원고를 세 부씩 받아 봉투에 넣어 일본이나 아르헨티나로 우편으로 보냈고 선택된 피어 리뷰어가 검토할 시간이 있기를 바랐습니다. 그 이후로 많은 것이 변했고 많이는 그렇지 않았습니다. 일부 리뷰어는 저자가 논문을 개선하는 데 매우 성실한 일을 했고 다른 리뷰어는 세 줄로 거절을 보냈습니다. 저는 프로세스가 얼마나 이질적일 수 있는지 직접 보았고 동료를 돕기 위해 노력한 각 검토자에게 개인적으로 감사하고 싶었습니다.
연구 및 출판 네트워크인 ScienceOpen에서 Gold Open Access(OA) 발행인 및 콘텐츠 애그리게이터 외에 우리의 뚜렷한 역할 중 하나는 피어 리뷰 개혁자입니다. 우리의 목표는 피어 리뷰 프로세스를 완전히 투명하게 만들어 신뢰를 높이는 것입니다. 그러면 모든 사람이 과학적 커뮤니케이션의 품질을 개선하기 위해 뛰어난 작업을 수행하는 리뷰어를 볼 수 있고 심지어 감사할 수도 있습니다.
우리는 피어 리뷰에 대한 다른 접근 방식의 효과와 학술 커뮤니케이션의 디지털 미래에 대한 적합성을 입증하기 위해 새로운 워크플로를 배포했습니다. 우리는 현재 단일 기사보다 더 많은 디지털 개체의 출판 속도를 높이고 포함해야 한다고 생각합니다. 단위.
크리스 그라프(CG): 참신한 작업 흐름에 대해 말하자면, 저는 개인적으로 출판 전 및 출판 후 피어 리뷰를 결합하여 더 나은 시스템을 만드는 방법에 관심이 있습니다.
출판 전 피어 리뷰는 연구를 검증하고 조직하며, 대체로 훌륭한 역할을 합니다. 그러나 – 솔직히 말해서 – 때로는 엄청나게 잘못된 결과를 가져옵니다. 그리고 출판 후 피어 리뷰가 필요한 곳입니다.
출판 후 피어 리뷰는 맥락화, 큐레이팅에 도움이 될 수 있으며, 저에게는 흥미롭게도 독자가 더 접근하기 쉬운 진입점을 제공할 수도 있습니다(예: PubPeer, PubMed Commons의 댓글, Kudos의 메트릭 등, 독자를 위한 방향을 제공하고 표면을 도와줍니다). 조항). 그리고 – 그렇습니다 – 출판 후 피어 리뷰는 때때로 나쁜 사과를 제거합니다. 어느 것이 중요합니다.
마지막으로, 피어 리뷰를 받았다는 이유만으로 피어 리뷰 기사를 절대적이고 확정적이며 최종적이며 100% 올바른 것으로 보아야 하는지에 대해 잠시 멈추고 생각하고 공개 토론을 해야 합니다. 최종 목적지에 도달하기 전에 실수를 저지르고, 방향을 틀고, 비틀거리고, 새로운 방향을 택할 수 있는 (상당히 구불구불한) 연구 여정의 한 단계로 피어 리뷰 기사를 생각하는 것이 더 현실적일 수 있습니다. 대답. 많은 단계가 그 여정을 구성하고 많은 연구가 관행과 정책을 알리기 위해 사용하는 증거를 만듭니다.
로르 학(LH): 나는 당신의 마지막 요점에 완전히 동의하지만 유효성 측면에서 피어 리뷰가 실제로 무엇을 하는 것입니까? 이 논문이 올바른 방법론과 통계(과학 논문의 경우)를 사용했는지, 아니면 논문의 논리적 흐름을 평가할 피어 리뷰어를 정말로 찾고 있는지를 알려주는 필터여야 합니까? 결국 논문이 '사기'로 밝혀지면 누구의 책임인가? 리뷰어에게 그 비중을 두기를 정말로 기대할 수 있습니까?
에밀리 제스퍼(EJ): 그리고 실무 및 정책에 영향을 미치는 피어 리뷰의 역할에 대한 Chris의 지적에 따르면, 피어 리뷰는 과학 연구자들에게만 중요한 것이 아닙니다. 연구가 해당 분야의 독립적인 전문가에 의해 면밀히 조사되었음을 나타내기 때문에 피어 리뷰는 연구 주장과 과학에 대한 토론을 평가할 때 정책 입안자, 기자 및 대중에게 중요한 고려 사항입니다. 연구 주장의 상태를 이해하는 것은 힘을 실어줍니다. 그것은 우리가 주장을 평가하고 증거를 사용하여 결정을 내리는 데 도움이 됩니다. Sense About Science가 2002년에 설립된 이후, 우리는 피어 리뷰에 대한 이해를 보다 널리 알리기 위해 노력해 왔습니다. 피어 리뷰에 대한 공개 가이드 I Do n't Know What to Believe는 사람들이 "동료 리뷰를 받았습니까?" 과학에 대한 주장을 평가할 때.
피터 그레고리(PSG): 피어 리뷰가 더 넓은 의미를 갖는다는 것은 맞지만 Wiley는 주로 우리가 서비스를 제공하는 학술 커뮤니티에 중요하기 때문에 중요합니다. 의견을 수집하고 기여도를 개선하는 것 외에도 피어 리뷰는 특히 과학 및 의학 분야에서 안전 밸브를 제공하여 부정확하거나 심지어 위험한 잘못된 기사의 배포를 방지합니다.
LH : 예, 피어 리뷰는 학문적 관행의 핵심 구성 요소입니다. 작업 개선이라는 최종 목표를 가지고 동료(해당 분야의 전문가)로부터 학술 작업(논문, 서적, 보조금, 프로그램 등)에 대한 논평을 수집하기 위해 확립된 일련의 방법입니다. ORCID 작품 제작자와 리뷰어 모두 사람들이 참여하기 때문에 피어 리뷰에 관심이 있습니다. 우리는 피어 리뷰 활동을 인용하여 리뷰어의 기여를 인정하는 디지털 방법을 개발하기 위해 커뮤니티와 협력하고 있습니다. 이를 통해 학자들이 심사자로 참여하도록 장려하고 심사 과정에서 신뢰 문제를 다루는 다른 사람들을 지원하기를 희망합니다.
SD : 만드는 아이디어가 좋아요 ORCID 연구자가 검토 활동을 기록할 수 있는 장소. ScienceOpen은 등록된 CrossRef DOI가 있는 공개 리뷰를 통해 이 문제를 해결하려고 합니다. Publons는 블라인드 피어 리뷰 저널의 리뷰어를 지원할 뿐만 아니라 이를 잘 수행하고 있습니다. 블라인드 리뷰의 경우 그들은 리뷰어가 그들이 주장하는 작업을 실제로 수행했는지 출판사와 확인하고 있습니다. 지금 당장은 확인할 방법이 없기 때문에 연구자가 CV에 "Review for Nature and Cell"을 추가하는 것이 쉬울 것입니다. 이는 현재 블라인드 검토 시스템에서 가능합니다. 다시 한 번 신뢰와 투명성이 핵심입니다.
PSG : 이번 피어 리뷰 주간이 피어 리뷰에 대한 논의를 강화하고 피어 리뷰가 적용되는 방식과 다양한 커뮤니티에서 유용한 방식의 차이에 대해 참가자(출판사, 저자, 편집자, 심판, 기금 제공자 등)를 민감하게 만드는 데 도움이 되기를 바랍니다. 일부 영역은 의견을 수집하고 일부는 사실에 기반합니다. 사전 인쇄 순환의 일부 이점(동료 검토 및 출판 전 의미) 일부는 이로 인해 손상됩니다. 어떤 사람에게는 출판 후 검토가 혁신적이지만 어떤 사람에게는 위험합니다. 이것은 피어 리뷰를 개선/변경하기 위해 노력하는 사람들이 하나의 크기가 모든 것에 적합하지 않다는 것을 주의 깊게 고려해야 한다는 결론에 이르게 합니다.
SD : 저는 "모두에게 적합한" 솔루션이 없을 것이라는 점에 동의하지만 특히 학제간 연구가 증가함에 따라 서로 다른 커뮤니티가 서로에게서 배울 수 있다는 점에 동의합니다. 한 가지 좋은 예는 arXiv에 대한 물리학 커뮤니티의 긍정적인 사전 인쇄 경험을 기반으로 하는 생명 과학 사전 인쇄 서버 BioRxiv입니다. 생물 정보학이라는 새로운 분야에서 컴퓨터 과학자들은 사실 arXiv에 사전 인쇄를 올렸고, 생명 과학에서 온 연구원은 "그게 뭐죠?"라고 물었습니다. 그래서 정말 흥미로운 것은 바로 그 마찰 지점에서 성장한다는 것입니다. 또한 PLoS One, SpringerOpen, Scientific Reports와 같은 메가저널을 향한 새로운 추세는 광범위한 커뮤니티에 적합하도록 피어 리뷰를 재고해야 하며 이러한 모든 저널은 리뷰어에게 결과의 과학적 건전성을 검토하도록 요청하게 되었습니다. 따라서 이것은 피어 리뷰의 공통 분모가 앞으로 나아갈 수 있는 것에 대한 몇 가지 단서를 제공할 수 있습니다.
LH : 공통 분모의 개념은 정말 핵심이며 피어 리뷰 주간이 생성되기를 바라는 바로 그런 종류의 토론입니다. 피어 리뷰에 대한 진행 중인 대화를 자극하고 집중하며 그렇게 함으로써 개선을 지원하기 위해 실제로 수행되고 있는 작업을 제시합니다. .
SD : 이번 동료 검토 주간인 ScienceOpen의 관점에서 우리는 간단한 질문을 던지고자 합니다. 연구 결과물의 수가 증가하고 다양화됨에 따라(데이터 세트, 부정적인 결과, 사례 보고서, 사전 인쇄, 포스터…) 연구 커뮤니티는 출판 전에 이러한 모든 개체를 동료 검토할 수 있습니까? 우리는 그렇지 않다고 생각합니다. 하루 중 시간이 충분하지 않고, 비용을 지불할 돈이 없으며, 심지어 지금 이 일을 하고 싶은 욕구조차 없습니다. 그럼에도 불구하고 이러한 출력이 유용할까요? 독자가 유용하다고 생각하고 작성자가 보람을 느끼는 매개변수를 기반으로 검색 및 필터링할 수 있는 강력한 방법이 있다면 물론입니다. 예를 들어:
- 동료들은 이 정보에 대해 어떻게 생각합니까?
- 그것에 대한 업데이트가 있습니까?
- 그것이 세상에 어떤 영향을 미쳤으며 누가 알아차렸습니까?
- 특정 분야에서 어떤 작품을 부각시킬 가치가 있습니까?
- 얼마나 많이 인용되었고 어디에서 인용되었습니까?
- 검토하는 데 시간이 걸리면 내 기여를 찾아 인용할 수 있습니까?
- 이러한 노력으로 내 경력 전망이 향상됩니까?
- 얼마나 많이 인용되었고 어디에서 인용되었습니까?
이러한 유효한 질문 중 어느 것도 우리가 답변할 수 있는 속도를 제외하고 맹검 또는 이중 맹검 익명 피어 리뷰에서 진화의 영향을 받지 않습니다. 투명한 프로세스와 간단한 웹 도구를 통해 저널 및 출판 전 피어 리뷰보다 더 빠르고 우수하며 저렴하게 필터링할 수 있습니다.
이것이 바로 ScienceOpen에서 출판 후 피어 리뷰를 위한 시스템을 개발한 이유입니다. 버전 관리 DOI 할당; 기사 지표; 컬렉션 Open Citation Information and more – 앞으로 나아갈 다른(그리고 우리는 더 나은 주장을 할 것입니다) 방법을 보여주기 위해.
LH : 피어 리뷰가 지속 불가능하다는 데 동의하는지 잘 모르겠습니다. 저는 커뮤니티가 특정 유형의 콘텐츠를 동료 검토하는 것이 무엇을 의미하는지에 대한 지침을 제공한다면 더 광범위한 출력 집합에 대한 검토를 지원하는 방향으로 나아갈 수 있다고 생각합니다. 콘텐츠에 대한 책임은 누구에게 있습니까?와 같은 질문을 해결해야 합니다. 저자/고문/고용주/편집자/검토자의 역할은 무엇입니까? 이것은 기본입니다. 데이터세트와 같은 이 "새로운" 콘텐츠 중 일부는 검토자가 메타데이터가 충분히 설명적이고 데이터 관리 계획에 따라 데이터 보관/액세스/장기 보존이 고려되는지 여부를 확인해야 할 수 있습니다. 그리고 연구 결과를 찾고 필터링하는 것에 대한 귀하의 제안이 마음에 들지만 (예를 들어) 데이터 세트가 누군가의 서랍에 있는 데이터 스틱에 있는 경우에는 이 중 어느 것도 관련이 없습니다. 피어 리뷰어는 데이터 세트를 보존하고 액세스 경로를 지속적으로 설명하여 인용할 수 있도록 하는 데 중요한 구성 요소가 될 수 있습니다. 다른 유형의 출력도 마찬가지입니다.
SD : 피어 리뷰가 실제로 달성해야 하는 것이 무엇인지 다시 생각하고 이를 지원하기 위한 새로운 서비스를 만드는 출판사와 조직이 많이 있습니다. 때로는 학자의 관점에서 볼 때 새로운 정의와 선택에 압도당하는 경우가 너무 많습니다. 또한 이 피어 리뷰 주간 동안 이 분야의 혁신이 리뷰어와 그들이 하고 있는 환상적인 작업을 지원하기 위해 실제로 어떻게 구축되었는지 보여주는 것이 중요하다고 생각합니다. 그래서 이번 주에는 ScienceOpen, The Winnower, F1000Research, PeerJ와 같은 소규모 스타트업 조직에서 시연하고 있는 오늘날 존재하는 피어 리뷰의 새로운 모델에 대한 인정을 볼 수 있기를 바랍니다. 그리고 피어 리뷰에 대한 논의는 이미 학계 간의 흥미로운 대화를 넘어 혁신을 현실로 만드는 데 능숙한 대부분의 상업 기관에서 일하는 소프트웨어 개발자와 게시자를 참여시키는 것으로 이동했습니다.
그러나 "연구자가 출판하는 곳은 여전히 경력 발전 측면에서 연구 결과 자체의 영향과 연결되어 있기 때문에 과학계가 이러한 새로운 기회를 수용할 수 있습니까?"라는 열린 질문이 남아 있습니다. 임팩트 팩터의 그립을 깨는 것은 쉬운 일이 아닙니다. 그러나 모든 새로운 시스템은 신뢰와 투명성의 기준을 충족해야 합니다.
LH : 나는 문제가 임팩트 팩터라고 생각하지 않는다. 이번 주의 요점은 Peer Review의 모든 다양성을 수용하고 학문적 담론에서 Peer Review의 핵심 기능을 이해하기 위해 노력하는 것이라고 생각합니다. 위에서 언급한 Chris의 관점에서 피어 리뷰는 여정의 일부입니다. 다른 분야, 다른 주제는 다른 풍미로부터 이익을 얻을 것입니다. 모두 좋습니다. 컨테이너(예: 저널/서비스 플랫폼)가 아니라 프로세스 자체에 집중합시다.
EJ : 또한 대중이 피어 리뷰에 대해 알아야 하므로 과학자와 출판사가 이에 대해 이야기해야 한다는 사실을 잊지 마십시오. 피어 리뷰 주간은 연구자들이 과학의 질을 유지하는 데 있어 피어 리뷰가 사회에서 수행하는 더 넓은 역할에 대해 생각하고 이를 더 널리 공유할 수 있는 좋은 기회입니다. 저는 특히 동료 검토가 그들에게 중요한 이유에 대해 초기 경력 연구자로부터 듣고 연구자가 수행하는 이 중요하고 자발적인 역할을 더 많이 인식하기를 바랍니다. 또한 연구원들에게 피어 리뷰에서 사용할 수 있는 환상적인 리소스, 워크숍 및 교육 기회에 대해 들을 수 있는 기회를 제공할 것입니다.