Bilimsel etkiyi değerlendirmek için verileri kim analiz ediyor olursa olsun, ister bir hibe fonu sağlayıcısı, ister bir üniversite yöneticisi, bir akran değerlendiricisi veya koleksiyon geliştirme çabalarında çalışan bir kütüphaneci olsun, her kişi veri seçimi ve toplamada benzer zorluklarla karşılaşır. Özellikle veri ayrıntı düzeyi ve toplamanın zorlukları tarafından engellenirler. Telafi etmek için, araştırma topluluğu, bir makalenin yayınlandığı derginin etki faktörü gibi değerlendirme amaçları için uzun süredir kalite temsillerine güvenmektedir. Belirli bir öğenin veya bilim setinin etkisini göz önünde bulundurmak isteyenlerin, en çok ilgilendikleri ölçütleri hesaplayabilmek için veri toplama sistemlerini "ayarlayabilmeleri" gerekir. gibi kalıcı tanımlayıcıların kullanımı ORCIDs ve DOI'ler bu tür ayarlamayı destekleyebilir.
Geleneksel burs, bugünlerde çeşitli biçimlerde ve çevrimiçi konumlarda mevcuttur. En geleneksel yayın modelinde, yayınlanan nihai makale, yayıncının web sitesinde olduğu kadar bir dergide de bulunabilir. Bir yayıncının dünyanın her yerinde kullanıma sunabileceği ayna sitelerin ötesinde, birçok yayıncı içeriklerini aşağıdaki gibi arşivleme hizmetlerine aktarır: JSTORgibi tam metin toplama hizmetleriyle ikincil dağıtım ortaklıklarına da sahip olabilir. EBSCOHost Akademik Arama or Gale'in Akademik Tek Dosyası. Bu tabloyu karmaşık hale getirmek için, diğer kağıt kaynakları aynı zamanda yerel depolarda saklanan ön baskıları, paylaşılan kopyaları ve hatta yetkisiz kopyaları içerir; bunlardan kullanımı şu anda bir araya getirmek zor veya imkansızdır.
Ayrıca, bu geleneksel akademik iletişim modeli kesinlikle makale odaklıdır ve birçok araştırmacının şu anda oluşturduğu ve paylaştığı veri, yazılım kodu veya bloglar gibi bilimsel çıktıları içermez. Model, anlamlı analitik veriler sağlayabilecek alıntı sistemleri, sosyal medya veya yeniden kullanım yoluyla çeşitli etkileşim biçimlerini de içermez. Son olarak, bu geleneksel süreç, materyallerin e-kurslara entegrasyon, uygulamalara dahil etme, topluluk tarafından benimsenme, patent başvuruları veya yasama süreçlerinde kullanımı yoluyla değerli uygulamalarını içermez; bunların tümü genel etkinin bir bileşeni olarak kabul edilebilir. .
Ayrıntı düzeyi zorluğu
Ayrıntı düzeyiyle ilgili olarak, istediğiniz şeyin istediğiniz düzeyde mevcut olmaması sorununu kim yaşamadı? Tek bir ürün satın almak istiyorsunuz, ancak bu yalnızca toplu bir paket halinde mevcut. Bir kablo kanalı isteyebilirsiniz, ancak tüm bir kablo hizmeti katmanına abone olmanız gerekir. Benzer şekilde, bilimsel iletişimlerde, değerlendirme bilgileri çok uzun süredir yalnızca dergi veya organizasyonel düzeyde sağlanmaktadır. Bununla birlikte, kütüphane koleksiyonları değerlendirmesinin dışında, etki değerlendirmesiyle ilgilenen kişiler çoğu zaman belirli bir araştırmacının performansını, tek bir makalede açıklanan belirli bir çabanın etkisini veya hibe destekli belirli bir projenin başarısını bilmek isterler.
Bütünden anlamlı öğeleri çıkarmak için, her bir değer öğesi benzersiz bir şekilde tanımlanmalıdır. Bu yüzyıla kadar, tanımlayıcılar geleneksel olarak "paket" düzeyinde atanıyordu, örn. ISSN bir dergi için veya ISBN bir kitap için 2000 yılında ilk uygulamasını gördük. Dijital Nesne Tanımlayıcı (DOI®), bireysel bilimsel makaleleri tanımlamak için hızla kullanılmaya başlandı. lansmanına kadar ORCID, makalelerin veya araştırmacıların yazarlarını açık bir şekilde tanımlamaya yönelik geniş çapta kabul görmüş bir mekanizma yoktu. Bu tanımlayıcıların mevcudiyeti ve kullanımı, değerlendirme araçlarının ve hizmetlerinin çok daha ayrıntılı bir düzeyde veri toplamasının yolunu açmıştır.
Veri toplama
İkinci zorluk, bu daha ayrıntılı veri düzeylerini toplama ihtiyacından kaynaklanmaktadır. Sağlayıcılar arasında veri paylaşma isteği olsa bile (kendisi büyük bir zorluk) ve bu verileri bir araya getirmek için basit, standartlaştırılmış bir format mevcut olsa bile (başka bir önemli sorun), bir analistin ilgili tüm bilgileri ve yalnızca ilgili bilgileri çıkaracağından nasıl emin olabilir? söz konusu araştırmacıya? Yayın düzeyinde etkinin toplanması, yayıncılara ve kütüphanelere hizmet eder ve kalitenin bir temsilcisi olabilir, ancak belirli bir araştırmacıyı/yazarı değerlendirmek için gerekli olan bileşen makalelerin en iyi ihtimalle kusurlu bir ölçüsüdür. Yeni nesil ölçüm girişimlerinin çoğu, örneğin PİRÜS, Etki Hikayesi, Altmetric.com ve Erik Analitiği büyük ölçüde DOI gibi tanımlayıcıların kullanımına bağlıdır ve ORCID verilerini doğru bir şekilde toplamak için.
Bursu kalıcı tanımlayıcılardan oluşan bir ağ ile ilişkilendirmek
As ORCID, DOI, kurumsal tanımlayıcılar, ve FonRef bilimsel toplulukta benimsenir ve bilimin her bir öğesi, kalıcı benzersiz tanımlayıcılardan oluşan bir ağ ile birbirine bağlanabilir, kümeleme ve ayrıntı düzeyi sorunları daha izlenebilir hale gelir. İçeriği koruyan tüm sistemlerde belirli bir araştırmacının çıktısına ilişkin bilgilerin toplanması mümkün hale gelir. Benzer şekilde, aynı kurumda tüm yazarların yayınladığı veya belirli bir hibe ile finanse edilen tüm içerikler, büyük koleksiyonlardan daha kolay ve daha doğru bir şekilde çıkarılabilir. Bu nesnelerle ilişkili meta veriler kalıcı tanımlayıcılar içeriyorsa, geleneksel olmayan içerik veya geleneksel olmayan medya bile bağlanabilir ve bunların kullanımı birleştirilebilir. için iş var özellikle ICSTI ve CODATA tarafından yönetilen veri kümelerine yapılan atıf kullanımını ilerletmek, sonunda haline geldi Veri Atıfına İlişkin Ortak İlkeler. Bu ilkelerin benimsenmesi devam etmektedir, ancak bir dizi diğer geleneksel olmayan çıktıyı kapsayacak şekilde genişletilebilir.
Bilimsel değerlendirmede metriklere daha fazla ilgi gösterilmesine ve uygulanmasına yönelik eğilimin hızlanmaya devam edeceğine şüphe yoktur. Finansörler, yöneticiler, yasa koyucular ve vergi mükelleflerinden araştırma veya eğitime yapılan yatırımları haklı çıkarmak için çok fazla talep var. Araştırmacılar ve kurumları, etki ölçümlerini ve bunların altında yatan sistemleri mümkün olduğunca sağlam hale getirmekle ilgilenerek, bunlara borçlu olunan tüm kredinin uygun şekilde atfedilip sayılmasını sağlamalıdır.
Araştırma topluluğunda harekete geçmek
Metriklere olan bu genişleyen ilgi, NISO'nun üstlendiği sebeplerden biridir. yeni değerlendirme biçimleriyle ilgili standartları ve en iyi uygulamaları oluşturmaya yönelik bir proje. Bakanlığından alınan hibe ile desteklenen bu proje, Alfred P. Sloan Vakfı, altmetrics tanımları, kullanım durumları, geleneksel olmayan bilimsel çıktıların değerlendirilmesine yönelik yaklaşımlar, Altmetrics-veri alışverişi için teknik altyapı ve kalıcı tanımlayıcıların benimsenmesi hakkında fikir birliği geliştirmeye çalışıyor. Bu beş temayı ele alacak çalışma grupları şimdi şekilleniyor.
Araştırmacılar, kaydolarak bu ortamı geliştirmek için üzerlerine düşeni yapabilirler. ORCID, kullanarak ID ürettikleri tüm içerik hakkında ve yayıncıların veya bilgi havuzlarının makaleler ve diğer bilimsel kaynaklar hakkında kimlikler toplaması ve yayınlaması konusunda ısrar ediyor. Birlikte çalışabilirlik, veri alışverişi, geçerlilik ve güven için toplu olarak çalışabiliriz, ancak önce verilerin toplanacak şekilde mevcut olması gerekir. Bu hepimizle başlar: araştırmacılar, fon sağlayıcılar, üniversiteler ve yayıncılar. Eğer ID gönderilmez veya toplanmaz, veriler birleştirilemez veya belirsizliği giderilemez ve çalışmalarımızın etkisi izlenemez ve analiz edilemez. Kredinin size geri izlenmesi bir yazar olarak sizin yararınızadır.