无论是谁在分析数据以评估学术影响,无论是资助者、大学管理者、同行评审员还是致力于馆藏开发工作的图书馆员,每个人在数据选择和收集方面都面临着类似的挑战。 他们尤其受到数据粒度和聚合挑战的阻碍。 作为补偿,研究界长期以来一直依赖质量指标进行评估,例如发表文章的期刊的影响因子。 那些寻求考虑某些特定项目或一组奖学金的影响的人需要能够“调整”数据收集系统,以便能够计算出最感兴趣的指标。 使用持久标识符,例如 ORCIDs 和 DOI,可以支持这样的调整。
如今,传统奖学金以各种形式和在线位置提供。 在最传统的出版模式中,最终发表的论文可能会在期刊和出版商的网站上找到。 除了出版商可能在世界各地提供的镜像站点之外,许多出版商将他们的内容转换为存档服务,例如 JSTOR,也可能与全文聚合服务有二次分发合作伙伴关系,例如 EBSCOHost学术搜索 or 盖尔的学术 OneFile. 更复杂的是,其他论文来源还包括存储在本地存储库中的预印本、共享副本,甚至未经授权的副本,目前很难或不可能从中汇总使用情况。
此外,这种传统的学术交流模式严格以文章为中心,不包括许多研究人员现在正在创建和共享的学术成果,例如数据、软件代码或博客。 该模型也不包括通过引文系统、社交媒体或重复使用的各种形式的交互,这些交互形式可以提供有意义的分析数据。 最后,这一传统过程不包括通过整合电子课程、包含在应用程序中、社区采用、专利申请或在立法过程中使用这些材料的宝贵应用——所有这些都可能被视为整体影响的一个组成部分.
粒度的挑战
关于粒度,谁没有经历过您想要的东西无法在您想要的水平上获得的挑战? 您想购买单件商品,但仅提供大包装。 您可能想要一个有线电视频道,但您必须订阅一整层有线电视服务。 同样,在学术交流中,评估信息仅在期刊或组织层面提供太久了。 然而,在图书馆馆藏评估之外,对影响评估感兴趣的人通常想知道特定研究人员的表现、一篇论文中描述的特定工作的影响,或特定赠款资助项目的成功。
要从整体中提取有意义的元素,必须唯一标识每个值项。 直到本世纪,标识符传统上都是在“包”级别分配的,例如, ISSN 对于期刊或 国际标准书号 一本书。 2000 年,我们看到了第一次实施 数字对象标识符 (DOI®),很快就开始用于识别个别学术文章。 直到开播 ORCID,没有被广泛接受的机制来明确识别文章的作者或研究人员。 这些标识符的可用性和使用为评估工具和服务在更精细的级别收集数据铺平了道路。
资料汇整
第二个挑战来自需要聚合这些更细粒度的数据。 即使有意愿在提供者之间共享数据(这本身就是一个巨大的挑战)并且存在一种简单、标准化的格式来聚合这些数据——(另一个重要问题),分析师如何确保提取所有相关信息并且只提取相关信息?给有问题的研究人员? 出版物层面影响的汇总服务于出版商和图书馆,可以作为质量的代表,但它充其量是评估特定研究人员/作者所需的组件文章的不完美衡量标准。 许多下一代指标计划,例如 皮鲁斯, 影响故事, Altmetric.com和 梅花分析 严重依赖于标识符的使用,例如 DOI 和 ORCID 准确地汇总他们的数据。
将奖学金与持久标识符网络联系起来
As ORCID,DOI, 机构标识符及 基金参考 被整个学术界采用,并且每一项奖学金都可以通过一个持久唯一标识符的网络链接在一起,聚合和粒度问题变得更容易处理。 可以在所有维护内容的系统中汇总有关特定研究人员输出的信息。 类似地,可以更轻松、更准确地从大型馆藏中提取由同一机构的所有作者发表或由特定赠款资助的所有内容。 如果与这些对象相关联的元数据包含持久标识符,则甚至可以链接非传统内容或非传统媒体并聚合它们的使用。 有工作要做 推进引用数据集的使用,特别是由 ICSTI 和 CODATA 领导,最终发展为 数据引用联合原则. 这些原则的采用正在进行中,但可以扩大到涵盖一系列其他非传统产出。
毫无疑问,在学术评估中对指标的兴趣和应用越来越大的趋势将继续加速。 资助者、行政人员、立法者和纳税人对证明在研究或教育方面的投资有太多的需求。 研究人员及其机构应该有兴趣制定影响指标和作为其基础的系统尽可能强大,以确保所有应得的信用都得到适当的归因和计算。
在研究界采取行动
对度量的这种兴趣的扩大是 NISO 采取的原因之一 建立与新评估形式相关的标准和最佳实践的项目. 该项目得到了美国政府的资助 阿尔弗雷德·P·斯隆基金会, 正在寻求围绕 altmetrics 定义、用例、评估非传统学术成果的方法、Altmetrics 数据交换的技术基础设施以及采用持久标识符达成共识。 处理这五个主题的工作组正在形成。
研究人员可以通过注册来尽自己的一份力量来营造这种环境 ORCID,使用他们的 ID 他们制作的所有内容,并坚持出版商或知识库收集和发布文章和其他学术资源的 ID。 我们可以共同努力实现互操作性、数据交换、有效性和信任,但首先需要收集数据。 这从我们所有人开始:研究人员、资助者、大学和出版商。 如果 ID 未提交或收集,无法汇总或消除数据歧义,无法跟踪和分析我们工作的影响。 作为作者,将功劳追溯到您符合您的利益。