THOR 团队正在努力帮助打造可持续的持久性标识符 (PID) 服务之路——包括 ORCID 身份证。 与任何长期目标一样,进行一些自我反省有助于跟踪您的进度、考虑您的成功,并让自己振作起来应对一路上的挑战。 对于像 THOR 这样的项目,我们可以通过开发一种结构来帮助我们正确衡量我们的成功,从而帮助这种自我反思。 但这通常比您想象的要困难。
在 PID 服务的早期,只关心采用率是可以的,因为优先考虑的是宣传。 虽然我们还有一些工作要做,但 PID 服务现在已经成熟到我们不能仅仅满足于简单地“增加数字”的地步。 我们需要调整我们的信息,以推动进一步创新,朝着 THOR 和我们的合作伙伴梦想的可互操作的未来迈进。 更好地了解采用 PID 的潜在动机以及谁可能准备好这样做将有助于我们推动服务的创建,从而使整个系统变得更好。 为了推进这一热情友好的使命,我们需要冷酷的事实。 那么我们如何去寻找这些事实呢? 我们如何将它们变成有用的东西,坦率地说,不那么棘手?
可以测量什么?
评估我们的进展的第一步是设定可操作和可衡量的目标。 尽管设定严格的绩效目标很诱人,但这只会让自己失败。 如果您将成功定义为销售 50 个小部件,而您只销售了 48 个,那么根据您自己的定义,您就失败了。 在 THOR 的案例中,我们的驱动目的是改善基础设施,因此我们对可观察到的趋势而不是具体目标更感兴趣。 制定关键绩效指标 (KPI) 在这里很有帮助。 请记住,指标只是考虑趋势的一种方式(例如“售出的小部件数量”),它本身并不是目标(例如 50 个小部件)。
应该如何衡量? (用什么指标?)
下一步是确定如何衡量我们想要衡量的内容。 这里的目标是选择既有价值又有意义的指标。 “有价值”意味着了解指标的状态将有助于我们做出决定。 “有意义”意味着我们了解指标实际跟踪的内容。 如果与我们选择的指标相关的趋势线上升,我们是否知道这对我们意味着什么,我们是否知道如何反应?
以这种方式选择指标的部分困难在于,对您来说最有意义和最有价值的信息可能无法立即获得。 当 THOR 第一次沿着指标路径开始时,我们只是想要容易收集的量化指标; 我们不打算进行任何复杂的用户研究。 然而,我们想要的一些信息不可用,要么是因为它没有被定期跟踪,要么是因为我们自己收集它是一个我们还不愿意接受的手动过程。
应该如何衡量? (工具还是没有工具?)
一旦您知道您的目标是什么以及哪些指标将帮助您跟踪实现这些目标的进度,您就需要一种方便的方法来监控这一切。 花哨的工具可能不是必需的,事实上大多数时候它们可能不是必需的,这取决于哪些指标对您特定的成功风格很重要。 但我们想展示一些准备聚合 PID 测量的可能性——老实说,我们确实喜欢幻想——所以我们开发了一个 XNUMX月XNUMX日 把所有东西都放在一个地方。 (在我们的 报告.) 创建仪表板是确定可以衡量什么以及如何衡量的一个很好的练习。 它还让我们有机会探索什么是有意义的指标。 例如,我们可以看到 PID 的使用率正在上升,我们可以看到与这些 PID 相关联的元数据的一些信息,但这实际上并没有让我们深入了解因果关系或让我们确切地知道为什么会这样趋势正在发生,甚至到底是谁参与了。
因为我们都是关于有意义的数据,这些测量方面的冒险促使 THOR 团队确定了围绕 PID 服务采用的可用指标中的差距,并考虑哪些额外的指标可能对 PID 研究领域的未来工作有用。 我们现在开始进行更详细的差距分析,这将导致对其中一些缺失措施的研究。 由于我们的目标是推动 PID 服务的采用,因此我们将学科覆盖范围和地理分布确定为我们最有希望追求的主题。 我们现在正在收集分析 X 学科和 Y 国家/地区采用 PID 所需的数据——完整报告将在今年晚些时候提供。
向前进
那么在这个过程中我们学到了什么? 首先,并非所有事情都像您希望的那样具体。 当您与人类和人类行为打交道时,事情会变得模糊。 其次,由于我们只是根据我们不一定控制的因素监测现有趋势,因此我们可以获得的一些信息将保持“足够好”,直到其他人可以做更详细的工作来改进数据或充实数据。 对于 THOR 项目的其余部分,我们的工作是指出了解互操作性最有用的内容,以便对其进行研究。
PID 领域仍在不断发展,还有很多增长和变化需要等待。 一些潜在有价值的信息需要进一步研究才能梳理出来。 我们的服务采用研究从差距分析开始,将帮助我们开始这项研究,我们希望收集一些有用的信息,为未来的工作奠定基础。 我们还需要更广泛的 PID 用户和集成商社区的帮助,以改进现有元数据并帮助我们考虑有意义的指标。
与往常一样,如果您对 THOR 有任何疑问或意见,请 联络方式.