Akran Değerlendirmesi Haftasını kutlamak için, ORCID, ScienceOpen, Sense About Science ve Wiley, akran değerlendirmesinin kendileri ve kuruluşları için neden önemli olduğunu ve bu hafta neyi başaracağını umduklarını tartışmak için (sanal olarak) bir araya geldi.
Katılımcılara çok teşekkürler Stephanie Dawson (CEO, ScienceOpen), Chris Graf (New Business Director, Professional Innovations for Associations and Societies, Wiley), Peter Gregory (Advanced Materials Genel Yayın Yönetmeni, Başkan Yardımcısı ve Yayın Direktörü, Wiley), Laure Haak (Yönetici müdür, ORCID), Emily Jesper (Yönetmen Yardımcısı, Sense about Science)
(soldan sağa: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stephanie Dawson (SD): De Gruyter yayıncılarında dergi yöneticisi olarak işe başladığımda, her makaleden üç nüsha alırdım, bunları zarflara koyup postayla Japonya veya Arjantin'e gönderirdim ve seçilen hakemin inceleyecek zamanı olmasını umardım. O zamandan beri çok şey değişti ve çok şey değişmedi. Bazı eleştirmenler, yazarların makalelerini geliştirmelerine yardımcı olmak için son derece özenli bir iş yaptı, diğerleri üç satırda bir ret gönderdi. Sürecin ne kadar heterojen olabileceğini gerçekten ilk elden gördüm ve meslektaşlarına gerçekten yardımcı olmak için çaba harcayan her eleştirmene kişisel olarak teşekkür edebilmeyi diledim.
Araştırma ve yayın ağı ScienceOpen ile Altın Açık Erişim (OA) yayıncısı ve içerik toplayıcısının yanı sıra farklı rollerimizden biri de akran değerlendirmesi reformcusu olmaktır. Amacımız, akran değerlendirmesi sürecini tamamen şeffaf hale getirerek güveni arttırmaktır. O zaman herkes, bilimsel iletişimin kalitesini artırmak için olağanüstü bir iş çıkaran eleştirmenleri görebilir (ve hatta teşekkür edebilir).
Akran Değerlendirmesine farklı bir yaklaşımın etkinliğini ve akademik iletişimin dijital geleceğine uygunluğunu göstermek için yeni bir iş akışı kullandık. birim.
Chris Graf (CG): Yeni iş akışlarından bahsetmişken, kişisel olarak, yayın öncesi ve sonrası akran değerlendirmesinin birlikte nasıl daha iyi bir sistem oluşturacağıyla ilgileniyorum.
Yayın öncesi akran değerlendirmesi, araştırmayı doğrular ve düzenler ve esas olarak harika bir iş çıkarır. Ama - dürüst olalım - bazen olağanüstü derecede yanlış anlıyor. Ve yayın sonrası akran değerlendirmesinin devreye girdiği yer burasıdır.
Yayın sonrası akran değerlendirmesi bağlamsallaştırmaya, düzenlemeye yardımcı olabilir ve - benim için heyecan verici bir şekilde - belki de okuyucular için daha erişilebilir giriş noktası sağlar (ör. nesne). Ve - evet - yayın sonrası akran değerlendirmesi, ara sıra ortaya çıkan çürük elmayı ayıklar. Önemli olan.
Son olarak, hakem tarafından incelenmiş bir makaleyi sırf hakem tarafından gözden geçirilmiş olduğu için mutlak, kesin, nihai ve %100 doğru olarak kabul edip etmeyeceğimizi düşünmeli ve halka açık bir tartışma yapmalıyız. Hakem değerlendirmesinden geçmiş bir makaleyi, nihai hedefimize ulaşmadan önce yanlış adımlar atmayı, yanlış dönüşler yapmayı, tökezlemeyi ve yeni yönler almayı bekleyebileceğimiz (oldukça dolambaçlı) bir araştırma yolculuğunun bir adımı olarak düşünmek daha gerçekçi olabilir mi? Cevap. Pek çok adım bu yolculuğu oluşturur ve pek çok araştırma, uygulama ve politikayı bilgilendirmek için kullandığımız kanıtları oluşturur.
Laure Haak (sol): Son noktanıza tamamen katılıyorum, ancak doğrulama açısından, akran değerlendirmesinin yaptığı gerçekten bu mu? Bu makalenin (bir bilim makalesi söz konusu olduğunda) doğru metodolojiyi ve istatistikleri kullandığını söyleyen filtre mi olmalı yoksa makalenin mantıksal akışını değerlendirmek için gerçekten hakem mi arıyoruz? Günün sonunda, kağıdın “sahte” olduğu ortaya çıkarsa bunun sorumluluğu kimindir? Bu ağırlığın gözden geçiren üzerinde olmasını gerçekten bekleyebilir miyiz/istiyor muyuz?
Emily Jesper (EJ): Ve Chris'in akran değerlendirmesinin uygulama ve politikayı bilgilendirmedeki rolü hakkındaki görüşüne göre, elbette akran değerlendirmesi sadece bilimsel araştırmacılar için önemli bir şey değildir. Araştırmanın alandaki bağımsız uzmanlar tarafından incelendiğini gösterdiğinden, akran değerlendirmesi, bilimle ilgili araştırma iddialarını ve tartışmaları tartarken politika yapıcılar, raportörler ve halk için önemli bir husustur. Araştırma iddialarının durumunu anlamak güçlendiricidir. İddiaları değerlendirmemize ve karar vermek için kanıtları kullanmamıza yardımcı olur. Sense About Science 2002'de kurulduğundan beri, akran değerlendirmesi anlayışını daha yaygın hale getirmek için çalışıyoruz. Akran değerlendirmesi için halka açık rehberimiz Neye İnanacağımı Bilmiyorum insanları "Akran değerlendirmesi var mı?" bilimle ilgili iddiaları tartarken.
Peter Gregory (PSG): Akran değerlendirmesinin daha geniş bir anlamı olduğu konusunda haklı olsanız da, Wiley için önemlidir, çünkü hizmet sunduğumuz bilimsel topluluk için önemlidir. Görüş toplamaya ve katkıları iyileştirmeye ek olarak, akran değerlendirmesi, özellikle bilim ve tıpta, yanlış ve hatta tehlikeli hatalı makalelerin dağıtımını önleyen bir güvenlik valfi de sağlar.
sol: Evet, akran değerlendirmesi akademik uygulamanın temel bir bileşenidir. Nihai amacı çalışmayı geliştirmek olan, meslektaşlarından - alandaki uzmanlardan - bilimsel çalışmalar (makaleler, kitaplar, hibeler, programlar ve daha fazlası) hakkında yorum toplamak için yerleşik bir yöntemler dizisidir. ORCID akran değerlendirmesiyle ilgileniyor çünkü hem eserlerin yaratıcıları hem de eleştirmenler dahil oluyor. Hakem değerlendirmesi faaliyetlerine atıfta bulunarak hakemlerin katkılarını kabul etmek için dijital yöntemler geliştirmek üzere toplulukla birlikte çalışıyoruz. Bu sayede akademisyenleri hakem olarak katılmaya teşvik etmeyi ve ayrıca inceleme sürecinde güven konuları üzerinde çalışan diğer kişileri desteklemeyi umuyoruz.
SD: yapma fikrini seviyorum ORCID araştırmacıların gözden geçirme faaliyetlerini kaydedebilecekleri yer. ScienceOpen, kayıtlı bir CrossRef DOI'si olan açık incelemelerle bu sorunu çözmeye çalışıyor. Publons, bu konuda iyi bir iş çıkarıyor ve kör hakemlik dergilerindeki hakemleri destekliyor. Kör inceleme durumlarında, bir eleştirmenin iddia ettikleri işi gerçekten yaptığını yayıncılarla doğruluyorlar - şu anda bir araştırmacının özgeçmişine "Nature and Cell için inceleme" eklemesi kolay olurdu çünkü doğrulamanın bir yolu yok bu, mevcut kör inceleme sistemimizde. Yine güven ve şeffaflık anahtardır.
PSG: Bu Akran Değerlendirmesi Haftasının, akran değerlendirmesi tartışmasını yoğunlaştırmaya yardımcı olacağını ve katılımcıları (yayıncılar, yazarlar, editörler, hakemler, fon sağlayıcılar vb.) akran değerlendirmesinin uygulanma ve farklı topluluklarda faydalı olma yollarındaki farklılıklar konusunda duyarlı hale getirmeye yardımcı olacağını umuyorum. Bazı alanlar fikir toplar, bazıları ise daha çok gerçeğe dayalıdır; bazıları baskı öncesi tirajdan yararlanır (yani hakem değerlendirmesi ve yayından önce), bazıları bundan zarar görür; bazıları için yayın sonrası inceleme yenilikçi, bazıları için tehlikeli. Bu beni, meslektaş incelemesini iyileştirmek/değiştirmek için çalışanların tek bir boyutun her şeye uymadığını dikkatlice düşünmeleri gerektiği sonucuna götürüyor.
SD: "Herkese uyan tek bir çözüm" olmayacağına katılıyorum, ancak özellikle disiplinler arası araştırmadaki artış onları bir araya getirdiğinden, farklı topluluklar da birbirlerinden öğrenebilirler. Harika bir örnek, fizik topluluğunun arXiv ile olumlu ön baskı deneyimine dayanan yaşam bilimleri ön baskı sunucusu BioRxiv'dir. Yeni biyoinformatik alanında, bilgisayar bilimcileri aslına bakarsanız ön baskılarını arXiv'e koydular ve daha çok yaşam bilimlerinden gelen araştırmacılar "bu nedir?" Yani gerçekten ilginç bir şey, tam da bu sürtüşme noktalarında büyüyorum. Ayrıca PLoS One, SpringerOpen, Scientific Reports gibi mega dergilere yönelik yeni eğilim, çok çeşitli topluluklara uyacak şekilde akran değerlendirmesinin yeniden düşünülmesini gerektiriyor ve bu dergilerin tümü, hakemlerden sonuçların bilimsel sağlamlığını gözden geçirmelerini isteme noktasına geldi. Dolayısıyla bu bize akran değerlendirmesinin ortak paydasının ne olabileceğine dair bazı ipuçları verebilir.
sol: Ortak bir payda fikri gerçekten çok önemli ve tam da Akran Değerlendirmesi Haftası'nın üreteceğini umduğum türden bir tartışma - akran değerlendirmesi üzerine devam eden sohbeti teşvik etmek ve yoğunlaştırmak ve bunu yaparken, iyileştirmeleri desteklemek için uygulamada yapılanları ortaya çıkarmak. .
SD: ScienceOpen'in bakış açısıyla, bu Akran Değerlendirmesi Haftasında basit bir soru sormak istiyoruz. Araştırma çıktılarının sayısı artıp çeşitlendikçe (veri setleri, olumsuz sonuçlar, vaka raporları, ön baskılar, posterler…) araştırma topluluğu yayınlanmadan önce tüm bu nesneleri hakem değerlendirmesi yapabilecek mi? olmadığını düşünüyoruz. Gün içinde yeterli zaman, ödeyecek para ve hatta bunu şimdi yapacak iştah yok. Bu çıktılar yine de faydalı olacak mı? Kesinlikle, okuyucuların yararlı bulduğu ve yazarların ödüllendirici bulduğu parametrelere göre bunları bulup filtrelemek için güçlü bir yolumuz varsa. Örneğin:
- Akranlarım bu bilgi hakkında ne düşünüyor?
- Herhangi bir güncelleme var mı?
- Dünyada nasıl bir etki yarattı ve kim fark etti?
- Belirli bir alanda hangi çalışma öne çıkmaya değer?
- Kaç kez alıntı yapıldı ve nerede?
- İncelemek için zaman ayırırsam, katkım bulunabilir ve alıntı yapılabilir mi?
- Bu çabalar kariyer beklentilerimi artıracak mı?
- Kaç kez alıntı yapıldı ve nerede?
Bu geçerli soruların hiçbiri, onları yanıtlama hızımız dışında, kör veya çift-kör anonim akran değerlendirmesinden uzaklaşan bir evrimden etkilenmez. Şeffaf süreçler ve basit web araçları, dergilerden ve yayın öncesi akran değerlendirmesinden daha hızlı, daha iyi ve daha ucuz filtreleme yapabilir.
Bu nedenle ScienceOpen'da Yayın Sonrası Akran Değerlendirmesi için sistemler geliştirdik; versiyonlama; DOI tahsisi; Makale Metrikleri; Koleksiyonlar; Atıf Bilgilerini Açın ve daha fazlası - ileriye doğru farklı (ve biz daha iyi tartışırdık) bir yol göstermek için.
sol: Hakem değerlendirmesinin sürdürülemez olduğuna katıldığımdan emin değilim. Topluluk olarak biz, belirli içerik türlerini meslektaş incelemesinin ne anlama geldiği konusunda rehberlik edersek, daha geniş bir dizi çıktının incelemesini destekleme yolunda ilerleyebileceğimizi düşünüyorum. İçerikten kim sorumlu gibi soruları ele almamız gerekiyor. Yazarın/danışmanın/işverenin/editörün/inceleyenin rolü nedir? Bu temeldir. Veri kümeleri gibi bu "yeni" içeriğin bir kısmı, bir incelemecinin meta verilerin yeterince açıklayıcı olup olmadığını ve veri yönetimi planına göre veri saklama/erişim/uzun vadeli korumanın hesaba katılıp katılmadığını kontrol etmesini gerektirebilir. Ve araştırma çıktılarını bulma ve filtreleme konusundaki önerilerinizi beğensem de, (örneğin) veri kümesi birinin çekmecesindeki bir veri çubuğunda oturuyorsa bunların hiçbiri alakalı değildir. Bir akran gözden geçiren kişi, veri setlerinin korunmasını ve erişim yolunun alıntılanabilir olması için kalıcı bir şekilde açıklanmasını sağlamanın kritik bir bileşeni olabilir. Aynısı diğer çıktı türleri için de geçerlidir.
SD: Akran değerlendirmesinin gerçekte neyi başarması gerektiğini yeniden düşünen ve bunu desteklemek için yeni hizmetler yaratan pek çok yayıncı ve kuruluş var - hatta bazen yeni tanımlar ve seçimler karşısında bunalmış hissedebilecek akademisyenin bakış açısına göre çok fazla. Ayrıca, bu Akran Değerlendirmesi Haftası sırasında, bu alandaki yeniliklerin hakemleri ve yaptıkları harika çalışmaları desteklemek için gerçekten nasıl inşa edildiğini göstermenin önemli olduğunu düşünüyorum. Bu yüzden umarım bu hafta, ScienceOpen ve The Winnower gibi küçük başlangıç organizasyonları ve F1000Research ve PeerJ gibi diğerleri tarafından gösterilen, bugün var olan yeni Akran Değerlendirmesi modellerinin onayını göreceğiz. Ve Akran Değerlendirmesi ile ilgili tartışmalar, akademisyenler arasındaki ilginç konuşmaların ötesine geçerek, yeniliği gerçeğe dönüştürmede iyi olan çoğunlukla ticari kuruluşlarda çalışan yazılım geliştiricileri ve yayıncıları dahil etmeye başladı.
Bununla birlikte, yanıtlanmamış soru, "bir araştırmacının yayın yaptığı yer, kariyer gelişimi açısından araştırma çıktılarının etkisiyle hâlâ bağlantılı olduğu için, bilim camiası bu yeni fırsatları kucaklayabilir mi?" Etki Faktörünün kontrolünü kırmak kolay bir başarı değildir. Ancak herhangi bir yeni sistemin güven ve şeffaflık kriterlerini karşılaması gerekecektir.
sol: Sorunun etki faktörü olduğunu düşünmüyorum. Bence bu haftanın amacı, Akran Değerlendirmesini tüm çeşitliliğiyle kucaklamak ve bilimsel söylemdeki temel işlevini anlamaya çalışmak. Chris'in yukarıdaki noktasına göre, akran değerlendirmesi bir yolculuğun parçasıdır. Farklı disiplinler, farklı konular, farklı tatlardan yararlanılacak, hepsi birbirinden güzel. Kapsayıcıya (örneğin günlük/hizmet platformu) çok fazla değil, sürecin kendisine odaklanalım.
EJ: Ayrıca, kamuoyunun akran değerlendirmesi hakkında bilgi sahibi olması gerektiğini ve bu nedenle bilim adamları ve yayıncıların bunun hakkında konuşması gerektiğini de unutmayalım. Akran Değerlendirmesi Haftası, araştırmacıların bilimde kaliteyi korumada akran değerlendirmesinin toplumda oynadığı daha geniş rol hakkında durup düşünmeleri ve bunu daha geniş çapta paylaşmaları için harika bir fırsattır. Özellikle kariyerinin başındaki araştırmacılardan akran değerlendirmesinin onlar için neden önemli olduğunu duyacağımızı ve araştırmacıların oynadığı bu hayati, gönüllü rolü daha fazla takdir edeceğimizi umuyorum. Ayrıca araştırmacılara akran değerlendirmesinde mevcut olan harika kaynaklar, çalıştaylar ve eğitim fırsatları hakkında bilgi edinme şansı verecektir.