無論是誰在分析數據以評估學術影響,無論是資助者、大學管理者、同行評審員還是致力於館藏開發工作的圖書館員,每個人在數據選擇和收集方面都面臨著類似的挑戰。 它們尤其受到數據粒度和聚合挑戰的阻礙。 作為補償,研究界長期以來一直依賴質量指標進行評估,例如發表文章的期刊的影響因子。 那些尋求考慮某些特定項目或一組獎學金的影響的人需要能夠“調整”數據收集系統,以便能夠計算出最感興趣的指標。 使用持久標識符,例如 ORCIDs 和 DOI,可以支持這樣的調整。
如今,傳統獎學金以各種形式和在線位置提供。 在最傳統的出版模式中,最終發表的論文可能會在期刊和出版商的網站上找到。 除了出版商可能在世界各地提供的鏡像站點之外,許多出版商將他們的內容轉換為存檔服務,例如 JSTOR,也可能與全文聚合服務有二次分發合作夥伴關係,例如 EBSCOHost學術搜索 or 蓋爾的學術 OneFile. 更複雜的是,其他論文來源還包括存儲在本地存儲庫中的預印本、共享副本,甚至未經授權的副本,目前很難或不可能從中匯總使用情況。
此外,這種傳統的學術交流模型嚴格以文章為中心,不包括許多研究人員現在正在創建和共享的學術成果,例如數據、軟件代碼或博客。 該模型也不包括通過引文系統、社交媒體或重複使用的各種形式的交互,這些交互形式可以提供有意義的分析數據。 最後,這一傳統過程不包括通過集成到電子課程、包含在應用程序中、被社區採用、專利申請或在立法程序中使用而對材料進行有價值的應用——所有這些都可能被視為整體影響的一個組成部分.
粒度的挑戰
關於粒度,誰沒有經歷過您想要的東西無法在您想要的水平上獲得的挑戰? 您想購買單件商品,但僅提供大包裝。 您可能想要一個有線電視頻道,但您必須訂閱一整層有線電視服務。 同樣,在學術交流中,評估信息長期以來只在期刊或組織層面提供。 然而,在圖書館館藏評估之外,對影響評估感興趣的人通常想知道特定研究人員的表現、一篇論文中描述的特定工作的影響,或特定贈款資助項目的成功。
要從整體中提取有意義的元素,必須唯一標識每個值項。 直到本世紀,標識符傳統上都是在“包”級別分配的,例如, ISSN 對於期刊或 國際標準書號 一本書。 2000 年,我們看到了第一次實施 數字對象標識符 (DOI®),很快就開始用於識別個別學術文章。 直到開播 ORCID,沒有被廣泛接受的機制來明確識別文章的作者或研究人員。 這些標識符的可用性和使用為評估工具和服務在更精細的級別收集數據鋪平了道路。
數據聚合
第二個挑戰來自需要聚合這些更細粒度的數據。 即使願意在提供者之間共享數據(這本身就是一個巨大的挑戰)並且存在一種簡單、標準化的格式來聚合這些數據(另一個重要問題),分析師如何確保提取所有相關信息並且僅提取相關信息?給有問題的研究人員? 出版物層面影響的匯總服務於出版商和圖書館,可以作為質量的代表,但它充其量是評估特定研究人員/作者所需的組件文章的不完美衡量標準。 許多下一代指標計劃,例如 皮魯斯, 影響故事, Altmetric.com,以及 梅花分析 嚴重依賴於標識符的使用,例如 DOI 和 ORCID 準確地匯總他們的數據。
將獎學金與持久標識符網絡聯繫起來
As ORCID,DOI, 機構標識符和 基金參考 被整個學術界採用,並且每一項獎學金都可以通過一個持久唯一標識符的網絡鏈接在一起,聚合和粒度問題變得更容易處理。 可以在所有維護內容的系統中匯總有關特定研究人員輸出的信息。 類似地,可以更輕鬆、更準確地從大型館藏中提取由同一機構的所有作者發表或由特定贈款資助的所有內容。 如果與這些對象相關聯的元數據包含持久標識符,則甚至可以鏈接非傳統內容或非傳統媒體並聚合它們的使用。 有工作要做 推進引用數據集的使用,特別是由 ICSTI 和 CODATA 領導,最終發展為 數據引用聯合原則. 這些原則的採用正在進行中,但可以擴展到涵蓋一系列其他非傳統產出。
毫無疑問,在學術評估中對指標的興趣和應用越來越大的趨勢將繼續加速。 資助者、行政人員、立法者和納稅人對證明在研究或教育方面的投資有太多的要求。 研究人員及其機構應該有興趣制定影響指標和作為其基礎的系統盡可能強大,以確保所有應得的信用都得到適當的歸因和計算。
在研究界採取行動
對度量的這種興趣的擴大是 NISO 採取的原因之一 建立與新評估形式相關的標準和最佳實踐的項目. 該項目得到了美國政府的資助 阿爾弗雷德·斯隆基金會, 正在尋求圍繞 altmetrics 定義、用例、評估非傳統學術成果的方法、Altmetrics 數據交換的技術基礎設施以及採用持久標識符達成共識。 處理這五個主題的工作組正在形成。
研究人員可以通過註冊來儘自己的一份力量來營造這種環境 ORCID,使用他們的 ID 他們製作的所有內容,並堅持出版商或知識庫收集和發布文章和其他學術資源的 ID。 我們可以共同努力實現互操作性、數據交換、有效性和信任,但首先需要收集數據。 這從我們所有人開始:研究人員、資助者、大學和出版商。 如果 ID 未提交或收集,無法彙總或消除數據歧義,無法跟踪和分析我們工作的影響。 作為作者,將功勞追溯到您符合您的利益。