雷神 團隊正在努力幫助開闢可持續持久標識符 (PID) 服務的道路 - 包括 ORCID ID。 與任何長期目標一樣,進行一些自我反思有助於跟踪您的進度、考慮您的成功並讓自己做好應對一路上挑戰的準備。 對於像 THOR 這樣的項目,我們可以通過開發一個結構來幫助我們進行自我反思,以幫助我們正確衡量我們的成功。 但這往往比您想像的要困難。
在 PID 服務的早期,只關心使用情況是可以的,因為首要任務是宣傳。 雖然我們還有一些工作要做,但 PID 服務現在已經成熟到我們不能再僅僅滿足於簡單地“提高數字”。 我們需要定制我們的信息,以推動進一步創新,實現 THOR 和我們的合作夥伴夢想的可互操作的未來。 更好地了解採用 PID 的潛在動機以及誰可能準備好這樣做,將有助於我們推動服務的創建,從而使整個系統變得更好。 為了進一步推進這一熱情友好的使命,我們需要冷酷的事實。 那麼我們如何去尋找這些事實呢? 我們如何將它們變成有用的東西,而且坦率地說,不那麼棘手?
可以測量什麼?
評估我們進展的第一步是設定可操作和可衡量的目標。 儘管設定嚴格的績效目標很誘人,但這只會讓自己陷入失敗。 如果您將成功定義為銷售 50 個小部件,而您只銷售了 48 個,那麼根據您自己的定義,您就失敗了。 就 THOR 而言,我們的推動目標是基礎設施的改善,因此我們更感興趣的是可觀察的趨勢,而不是具體的目標。 制定關鍵績效指標 (KPI) 在這裡很有幫助。 請記住,指標只是考慮趨勢的一種方式(例如“售出的小部件數量”),它本身並不是目標(例如 50 個小部件)。
應該如何衡量呢? (用什麼指標?)
下一步是確定如何衡量我們想要衡量的內容。 這裡的目標是選擇有價值且有意義的指標。 “有價值”是指了解指標的狀態有助於我們做出決定。 “有意義”意味著我們了解指標實際跟踪的內容。 如果與我們選擇的指標相關的趨勢線上升,我們是否知道這對我們意味著什麼,以及我們是否知道如何反應?
以這種方式選擇指標的部分困難在於,對您來說最有意義和最有價值的信息可能無法立即獲得。 當 THOR 第一次開始走上指標之路時,我們只是想要輕鬆收集的量化指標; 我們並不打算進行任何復雜的用戶研究。 然而,我們想要的一些信息無法獲得,要么是因為沒有定期跟踪這些信息,要么是因為我們自己收集這些信息是一個我們還不願意採取的手動過程。
應該如何衡量呢? (有工具還是沒有工具?)
一旦您知道您的目標是什麼以及哪些指標將幫助您跟踪這些目標的進展情況,您就需要一種便捷的方法來監控這一切。 花哨的工具可能不是必需的,事實上大多數時候它們可能不是必需的,這取決於哪些指標對您的特定成功風格很重要。 但我們想展示 PID 測量值已準備好聚合的一些可能性 - 老實說,我們確實喜歡幻想 - 所以我們開發了一個 儀表盤 把所有東西都放在一處。 (閱讀有關我們流程的更多信息 report.) 創建儀表板是確定可測量內容和測量方式的一個很好的練習。 它還讓我們有機會探索什麼是有意義的指標。 例如,我們可以看到 PID 的使用率正在上升,並且我們可以看到與這些 PID 相關的元數據的一些信息,但這實際上並沒有讓我們深入了解因果關係,也沒有讓我們確切地知道為什麼會出現這種情況。趨勢正在發生,甚至到底是誰參與其中。
因為我們關注的都是有意義的數據,這些測量方面的冒險讓 THOR 團隊發現了有關 PID 服務採用的可用指標中的差距,並考慮哪些附加指標可能對 PID 研究領域的未來工作有用。 我們現在已經開始進行更詳細的差距分析,這將導致對其中一些缺失的措施進行研究。 由於我們的目標是推動 PID 服務的採用,因此我們已將學科覆蓋範圍和地理分佈確定為我們最有希望追求的主題。 我們現在正在收集分析 X 學科和 Y 個國家的 PID 採用情況所需的數據——完整的報告將於今年晚些時候發布。
向前邁進
那麼在這個過程中我們學到了什麼? 首先也是最重要的一點,並非所有事情都像您希望的那樣具體。 當你處理人類和人類行為時,事情就會變得脆弱。 其次,由於我們只是根據我們不一定控制的因素來監控現有趨勢,因此我們可以獲得的一些信息將仍然“足夠好”,直到其他人可以做更詳細的工作來改進數據或充實數據。 THOR 項目剩餘部分的工作是指出了解互操作性最有用的內容,以便對其進行研究。
PID 領域仍在不斷發展,並且還存在大量的增長和變化。 一些潛在有價值的信息需要進一步研究才能梳理出來。 我們的服務採用研究從差距分析開始,將幫助我們開始這項研究,我們希望收集一些有用的信息,為未來的工作奠定基礎。 我們還需要更廣泛的 PID 用戶和集成商社區的幫助來改進現有元數據並幫助我們考慮有意義的指標。
一如既往,如果您對 THOR 有疑問或意見,請 ..