Bilimsel yayıncılık bir kaide üzerinde duruyor; toplum bilimsel raporları, sahip olduğumuz Gerçeğe en yakın yaklaşım olarak görüyor. Bilim insanları, bilimin on yıllar boyunca ölçülen ve en az yanlış olduğu kanıtlanmış bir yorumda birleşme çabası olduğunu biliyorlar. Gerçek orada bir yerde ama biz onun yalnızca gölgesini görmeyi umabiliriz.
Yine de bilimsel yayıncılığın yüksek platformunda ayakta durmaya devam etmesini canı gönülden umuyorum. Bu olmadan, toplumun sahip olduğu tek şey internetin "adil ve dengeli" kakofonisidir; burada herkes kendi kanaat kalifikasyonuna en uygun şarlatanlık ve sahte bilimi seçip seçecektir.
Bununla birlikte, bilim kamuoyunun önünde dursa da gerçekte editörler tarafından yönlendirilen ve hakem değerlendirmeleriyle desteklenen büyülü bir arabadır - Chitty Chitty Bang Bang!
Editörler ve hakemler, ellerinden geldiğince, bilim olarak rapor edilen şeyin sağlam metodolojiyi izlediğini, böylece bağımsız olarak doğrulanabileceğini ve sunulan sonuçların, kullanılan veri ve analizlerden haklı olarak çıktığını sağlamalıdır. Editörler ve hakemler aynı zamanda bilim olarak rapor edilen şeyin önemli olduğunu, yani bir okuyucu olarak zaman ayırmaya ve dikkat etmeye değer olduğunu kanıtlamalıdır.
Akademik camiada açık bir uyumsuzluk var: Bir yandan anketler, bilim insanları arasında akran değerlendirmesinin akademik yayıncılığın temel taşı olduğu konusunda geniş bir fikir birliğinin olduğunu gösteriyor; Öte yandan, hakem değerlendirmesinin kendisinden bekleneni karşılamadığı ve bazen sorunlara yol açabileceği yönünde de yaygın bir algı var. Geleneksel akran değerlendirme sisteminin bugün kendisinden beklenenleri sunma yeteneği giderek daha fazla sorgulanıyor.
Akran değerlendirmesini kutlamanın ve araştırmacıların bunun için harcadığı önemli miktardaki zamanın tanınmasının yanı sıra, aynı zamanda topluluğun neyin işe yarayıp neyin yaramadığını tartışması için bir fırsat olan Akran Değerlendirmesi Haftası 2015'in ruhuna uygun olarak, Bazı zorlukları (başlığın rahatsız edici seslerini) ve bazı potansiyel çözümleri vurgulayın.
Hakem değerlendirmesi ve derginin prestij merdiveninin kademeli olarak aşağıya doğru kaydırılması, her defasında reddedilme, kayda değer bir etki yaratır. yayınlanma gecikmesi. Kabul edilen başvuruları incelemek için harcanan zamana ek olarak, bilim insanları belki de 15 milyon saat her yıl reddedilen başvuruların incelenmesi - bu zaman kaybı değildir çünkü filtrelerin çalıştığı anlamına gelir (eğer hakem değerlendirmesi her zaman kabulle sonuçlanırsa, bu sistem için berbat bir başarısızlık olur), ancak çoğu durumda raporlar bir sorunu desteklemek için kullanılabilir. Başka bir dergide olumlu karar. Akran değerlendirmesi açıktır önyargı riski – milliyet, kurumsal prestij, cinsiyet, kişisel ilişkiler veya diğer konuların belirli bir hakem değerlendirmesini ve yayınlama kararını gerçekten etkileyip etkilemediği önemli değildir. Asıl soru şudur: Yazar, bunların onu etkilemeyeceğine tamamen güvenebilir mi? Hakem değerlendirmeleri talep etmek ve kaçırılan son teslim tarihlerinin peşinden koşmak, editörlük ofisleri için gülünç boyutlarda bir yük haline geldi ve derginin amaç ve kapsamının gerçek bilimsel yönetiminden zaman kaybına yol açtı. Ve akran değerlendirmesi şu risklere açıktır: açık dolandırıcılık: Geçtiğimiz yıl düzinelerce makale hileli hakem incelemesi nedeniyle geri çekildi.
Ancak bana göre bu zorluklardan en önemlisi güvenilirliğin aşınmasıdır. Hakem değerlendirmesinin kalitesi, bu kaliteye ilişkin herhangi bir etkili değerlendirme ve bu değerlendirmelerin yayın kararlarına uygulanmasını sağlayacak prosedürler olmadan çok fazla değişiklik göstermektedir.
Mevcut sistemde, bir araştırmacının hakem değerlendirmesi görevine önemli miktarda zaman ayırması ve tüm dikkatini ve uzmanlığını ortaya koyması için muhtemelen çok az teşvik vardır. Hakem değerlendirmesinin tanınmaması ve bunun için gereken sürenin, birçok bilim insanının bunu dikkatli bir şekilde değil, hızlı bir şekilde yapmaktan memnun olduğu anlamına geldiğine inanıyorum. Ancak iyi ya da kötü bir hakem değerlendirmesi, bazı genç araştırmacıların tüm kariyerinin kaderini kelimenin tam anlamıyla belirleyebilir. Bilim, aceleci ve dikkatsiz bir hakem incelemesi nedeniyle önemli bir taslağın yayınlanmasının çok önemli bir son başvuru tarihinden hemen önce engellenmesi ve onları pes etmeye sevk etmesi nedeniyle kaç tane parlak genci kaybetti?
Bir nevi beni kaybettirdi. Ama hâlâ Chitty Chitty Bang Bang'i seviyorum.
Bu nedenle yeni işim: daha yüksek oktanlı yakıt geliştirmek için bir rafineri inşa etmek.
At bilim lortluğu hakem değerlendirmesini geliştirmek için iki yönlü bir yaklaşım benimsiyoruz (her ikisi de tescilli değildir, dolayısıyla Peerage of Science kullanmayan dergilerin bunları kendi başlarına uygulamalarını engelleyen hiçbir şey yoktur).
Birincisi, açık katılım – kimliğiniz ve yeterliliğiniz güvenilir bir dış kaynak tarafından doğrulandığı sürece ve yazarlarla bir kurum veya yakın zamanda ortak yazarlık yoluyla bağlantınız olmadığı sürece, herhangi bir makalenin hakem değerlendirmesine katılabilirsiniz. Editörler hakem tavsiyesinde bulunabilirler ancak bunu yapma konusunda özel bir hakka sahip değillerdir; yazarlar da dahil olmak üzere herhangi bir Grup, başkasını tavsiye edebilir. İkinci olarak, incelemelerin kendisi hakem incelemesinden geçer (“akran değerlendirmesinin hakem değerlendirmesi”). Bu, araştırmacıların akran değerlendirmesi işini dikkatli bir şekilde yapmaya daha fazla zaman ve çaba harcaması konusunda çok etkili bir sosyal baskı yaratır. Buna ek olarak, Peerage of Science'ta anonimliğe yönelik varsayılan yaklaşım üçlü kördür; bu, herkesin argümanlarının (yazarlar, hakemler, editörler) kendi bilimsel değerlerine dayanması ve kişisel faktörlere karşı veya kişisel faktörlere yönelik önyargılardan mümkün olduğunca az etkilenmesi gerektiği anlamına gelir. Ancak bu, belirli bir görüşü zorunlu kılmak yerine varsayılan değer olsa da, Peerage of Science yazarın seçim yapmasına izin verir.
Üye kuruluşu olarak ORCIDPeerage of Science aynı zamanda hakem incelemesi çalışmaları için yeni standartlaştırılmış, alıntı yapılabilir ve çözümlenebilir kayıtları desteklemeyi sabırsızlıkla beklemektedir. ORCID profiller. Akran değerlendirmesi çalışmasının, çalışmanın kalitesini dikkate alacak şekilde tanınması önemlidir ve çapraz değerlendirme sonuçları ve geri bildirimle bağlantılı yetkili bir kayda sahip olmak, bunu gerçekleştirmenin umut verici bir yoludur.
Bizim gibi diğer pek çok kuruluş da, hakem değerlendirmelerinin tanınmasını kolaylaştırarak, yeni hakem değerlendirme formlarını deneyerek, reddedilen makalelerin incelemelerini yeniden kullanmanın yollarını bularak ve daha fazlasını yaparak, hakem değerlendirme sistemini iyileştirmeye çalışıyor. Bu nedenle, Akran Değerlendirmesi Haftasını kutlarken - şimdi ve gelecekte - akran değerlendirmesini her yıl 52 hafta boyunca Chitty Chitty Bang Bang'in uçmasını sağlayacak ve bunu haklı çıkaracak bir şey haline getirmeye çalışalım.
[Resim başlığı: Chitty Chitty Bang Bang. Kont Louis Zborowski, Chitty Bang Bang 1 ile Brooklands c1921'de. Wikipedia aracılığıyla kamu malı görsel.]