Das THOR Das Team arbeitet hart daran, den Weg zu nachhaltigen PID-Diensten (Persistent Identifier) zu ebnen – einschließlich ORCID IDs. Wie bei jedem langfristigen Ziel ist ein wenig Selbstreflexion hilfreich, um Ihre Fortschritte zu verfolgen, Ihre Erfolge zu berücksichtigen und sich auf die Herausforderungen auf dem Weg vorzubereiten. Im Falle eines Projekts wie THOR können wir diese Selbstreflexion vorantreiben, indem wir eine Struktur entwickeln, die uns hilft, unseren Erfolg im Laufe der Zeit richtig zu messen. Doch das ist oft schwieriger als man denkt.
In den Anfängen der PID-Dienste war es in Ordnung, sich nur um die Verbreitung zu kümmern, da die Priorität darin bestand, die Nachricht zu verbreiten. Auch wenn dort noch einiges an Arbeit vor uns liegt, sind die PID-Dienste inzwischen so ausgereift, dass wir uns nicht mehr damit zufrieden geben können, einfach nur „die Zahlen zu ermitteln“. Wir müssen unsere Botschaften anpassen, um weitere Innovationen in Richtung der interoperablen Zukunft voranzutreiben, von der THOR und unsere Partner träumen. Bessere Informationen über die zugrunde liegenden Beweggründe für die Einführung von PIDs und darüber, wer dazu bereit sein könnte, werden uns dabei helfen, die Entwicklung von Diensten voranzutreiben, die das gesamte System verbessern. Um diese herzliche und freundliche Mission voranzutreiben, brauchen wir kalte, harte Fakten. Wie finden wir diese Fakten? Und wie verwandeln wir sie in etwas Nützliches und, ganz offen gesagt, etwas weniger Störendes?
Was kann gemessen werden?
Der erste Schritt bei der Bewertung unserer Fortschritte bestand darin, umsetzbare und messbare Ziele festzulegen. Auch wenn es verlockend ist, strikte Leistungsziele festzulegen, führt dies nur dazu, dass Sie scheitern. Wenn Sie Erfolg als den Verkauf von 50 Widgets definieren und nur 48 verkaufen, dann haben Sie Ihrer eigenen Definition nach versagt. Im Fall von THOR ist unser treibendes Ziel die Verbesserung der Infrastruktur, daher sind wir mehr an beobachtbaren Trends als an konkreten Zielen interessiert. Hier hilft die Entwicklung von Key Performance Indicators (KPIs). Denken Sie daran, dass ein Indikator lediglich eine Möglichkeit zur Berücksichtigung von Trends darstellt (z. B. „Anzahl der verkauften Widgets“) und kein Ziel darstellt (z. B. 50 Widgets).
Wie soll es gemessen werden? (Mit welchen Indikatoren?)
Der nächste Schritt bestand darin, festzulegen, wie wir messen, was wir messen möchten. Ziel ist es, Indikatoren auszuwählen, die sowohl wertvoll als auch aussagekräftig sind. „Wertvoll“ bedeutet, dass die Kenntnis des Status des Indikators uns bei der Entscheidungsfindung hilft. „Aussagekräftig“ bedeutet, dass wir verstehen, was der Indikator tatsächlich verfolgt. Wenn die mit unserem gewählten Indikator verbundene Trendlinie steigt, wissen wir dann, was das für uns bedeutet, und wissen wir, wie wir reagieren sollen?
Ein Teil der Schwierigkeit bei der Auswahl von Indikatoren auf diese Weise besteht darin, dass die für Sie aussagekräftigsten und wertvollsten Informationen möglicherweise nicht sofort verfügbar sind. Als THOR zum ersten Mal mit dem Indikatorpfad begann, wollten wir einfach leicht erfassbare quantitative Messwerte; Wir wollten keine komplexen Benutzerstudien durchführen. Allerdings waren einige der von uns gewünschten Informationen nicht verfügbar, entweder weil sie nicht regelmäßig verfolgt wurden oder weil die Sammlung selbst ein manueller Prozess gewesen wäre, den wir noch nicht auf uns nehmen wollten.
Wie soll es gemessen werden? (Werkzeug oder kein Werkzeug?)
Sobald Sie wissen, was Ihre Ziele sind und welche Indikatoren Ihnen helfen, Ihren Fortschritt bei der Erreichung dieser Ziele zu verfolgen, benötigen Sie eine bequeme Möglichkeit, alles zu überwachen. Ausgefallene Tools sind möglicherweise nicht erforderlich, in den meisten Fällen wahrscheinlich auch nicht, je nachdem, welche Indikatoren für Ihren individuellen Erfolg wichtig sind. Aber wir wollten einige der Möglichkeiten demonstrieren, PID-Messwerte zur Aggregation bereit zu haben – und wenn wir ehrlich sind, mögen wir auch Fantasie – also haben wir eine entwickelt Armaturenbrett um alles an einem Ort zu halten. (Lesen Sie mehr über unseren Prozess in unserem berichten.) Die Erstellung des Dashboards war eine gute Übung, um herauszufinden, was wie gemessen werden kann. Es gab uns auch die Möglichkeit zu erkunden, welche aussagekräftigen Kennzahlen sein könnten. Wir können zum Beispiel sehen, dass die PID-Nutzung zunimmt, und wir können einige Informationen über die Metadaten sehen, die mit diesen PIDs verknüpft sind, aber das gibt uns eigentlich keinen Einblick in kausale Zusammenhänge oder lässt uns nicht genau wissen, warum das so ist Welcher Trend stattfindet oder wer genau daran beteiligt ist.
Da es bei uns um aussagekräftige Daten geht, haben diese Messabenteuer das THOR-Team dazu veranlasst, Lücken in den verfügbaren Metriken rund um die Einführung von PID-Diensten zu identifizieren und zu überlegen, welche zusätzlichen Indikatoren für zukünftige Arbeiten im Bereich der PID-Forschung nützlich sein könnten. Wir haben nun mit einer detaillierteren Lückenanalyse begonnen, die zu einer Untersuchung einiger dieser fehlenden Maßnahmen führen wird. Da es unser Ziel ist, die Einführung von PID-Diensten voranzutreiben, haben wir die disziplinarische Abdeckung und die geografische Verteilung als unsere vielversprechendsten Themen identifiziert. Wir sammeln jetzt die Daten, die wir benötigen, um die PID-Einführung in X-Disziplinen und Y-Ländern zu analysieren – ein vollständiger Bericht wird später in diesem Jahr verfügbar sein.
Moving forward
Was haben wir in diesem Prozess gelernt? Erstens ist nicht alles so konkret, wie Sie es sich vielleicht wünschen. Wenn man es mit Menschen und menschlichen Verhaltensweisen zu tun hat, wird es schwierig. Zweitens: Da wir bestehende Trends nur auf der Grundlage von Faktoren überwachen, die wir nicht unbedingt kontrollieren können, bleiben einige der uns zur Verfügung stehenden Informationen gerade noch „gut genug“, bis andere detailliertere Arbeiten durchführen können, um die Daten entweder zu verbessern oder zu konkretisieren. Unsere Aufgabe für den Rest des THOR-Projekts besteht darin, aufzuzeigen, was über die Interoperabilität am nützlichsten zu wissen wäre, damit sie untersucht werden kann.
Der PID-Bereich entwickelt sich immer noch weiter und hält noch viel Wachstum und Veränderungen bereit. Einige potenziell wertvolle Informationen erfordern weitere Untersuchungen, um sie herauszufinden. Unsere Service-Akzeptanzstudie, beginnend mit der Lückenanalyse, wird uns dabei helfen, mit dieser Forschung zu beginnen, und wir hoffen, einige nützliche Informationen zu sammeln, die den Grundstein für zukünftige Arbeiten legen können. Wir benötigen auch Hilfe von der breiteren PID-Benutzer- und Integrator-Community, um bestehende Metadaten zu verbessern und uns bei der Berücksichtigung aussagekräftiger Metriken zu helfen.
Wenn Sie Fragen oder Kommentare zu THOR haben, wenden Sie sich bitte wie immer an uns Nehmen Sie Kontakt mit uns auf.