La THOR L'équipe travaille dur pour aider à ouvrir la voie à des services d'identifiants persistants (PID) durables - y compris ORCID identifiants. Comme pour tout objectif à long terme, un peu d'autoréflexion est utile pour suivre vos progrès, prendre en compte vos succès et vous préparer à relever les défis en cours de route. Dans le cas d'un projet comme THOR, nous pouvons aider cette réflexion personnelle en développant une structure pour nous aider à mesurer correctement notre succès au fur et à mesure. Mais c'est souvent plus difficile que vous ne le pensez.
Au début des services PID, il était normal de se préoccuper uniquement de l'utilisation, car la priorité était de faire passer le mot. Bien que nous ayons encore du travail à faire là-bas, les services PID ont maintenant mûri au point que nous ne pouvons plus nous contenter simplement de « faire monter les chiffres ». Nous devons adapter nos messages afin de stimuler davantage l'innovation vers l'avenir interopérable dont rêvent THOR et nos partenaires. Avoir de meilleures informations sur les motivations sous-jacentes à l'adoption des PID et sur qui pourrait être prêt à le faire nous aidera à stimuler la création de services qui amélioreront l'ensemble du système. Pour faire avancer cette mission chaleureuse et amicale, nous avons besoin de faits bruts et froids. Alors, comment allons-nous trouver ces faits? Et comment les transformer en quelque chose d'utile et, franchement, d'un peu moins piquant ?
Que peut-on mesurer ?
La première étape de l'évaluation de nos progrès a été de fixer des objectifs réalisables et mesurables. Bien qu'il soit tentant de fixer des objectifs de performance stricts, cela ne fait que vous préparer à l'échec. Si vous définissez le succès comme la vente de 50 widgets, et que vous n'en vendez que 48, alors, selon votre propre définition, vous avez échoué. Dans le cas de THOR, notre objectif principal est l'amélioration des infrastructures, nous sommes donc plus intéressés par les tendances observables que par les objectifs concrets. Le développement d'indicateurs de performance clés (KPI) est ici utile. N'oubliez pas qu'un indicateur n'est qu'un moyen de considérer les tendances (par exemple « nombre de widgets vendus »), et qu'il n'est pas lui-même une cible (par exemple 50 widgets).
Comment doit-il être mesuré ? (Avec quels indicateurs ?)
L'étape suivante consistait à déterminer comment mesurer ce que nous voulons mesurer. Le but ici est de sélectionner des indicateurs qui sont à la fois utiles et significatifs. « Précieux » signifie que connaître l'état de l'indicateur nous aidera à prendre une décision. « Significatif » signifie que nous comprenons ce que l'indicateur suit réellement. Si la ligne de tendance associée à notre indicateur choisi monte, saurons-nous ce que cela signifie pour nous, et saurons-nous comment réagir ?
Une partie de la difficulté de sélectionner des indicateurs de cette manière est que les informations les plus significatives et les plus précieuses pour vous pourraient ne pas être immédiatement disponibles. Lorsque THOR a commencé à suivre le chemin des indicateurs, nous voulions simplement des mesures quantitatives faciles à rassembler ; nous ne cherchions pas à entreprendre des études d'utilisateurs complexes. Cependant, certaines des informations que nous voulions n'étaient pas disponibles, soit parce qu'elles n'étaient pas suivies régulièrement, soit parce que la collecte nous-mêmes aurait été un processus manuel que nous n'étions pas encore prêts à entreprendre.
Comment doit-il être mesuré ? (Outil ou pas outil ?)
Une fois que vous savez quels sont vos objectifs et quels indicateurs vous aideront à suivre vos progrès vers ces objectifs, vous avez besoin d'un moyen pratique de tout surveiller. Des outils sophistiqués peuvent ne pas être nécessaires, en fait la plupart du temps ils ne le sont probablement pas, selon les indicateurs qui sont importants pour votre saveur particulière de réussite. Mais nous voulions démontrer certaines des possibilités d'avoir des mesures PID prêtes à être agrégées - et si nous sommes honnêtes, nous aimons la fantaisie - alors nous avons développé un tableau de bord pour tout garder au même endroit. (En savoir plus sur notre processus dans notre rapport.) La création du tableau de bord a été un bon exercice pour établir ce qui pouvait être mesuré et comment. Cela nous a également donné l'occasion d'explorer ce que pourraient être des mesures significatives. Par exemple, nous pouvons voir que l'adoption des PID est à la hausse, et nous pouvons voir des informations sur les métadonnées associées à ces PID, mais cela ne nous donne en fait aucun aperçu des relations causales ou nous permet de savoir précisément pourquoi cela tendance se produit ou même exactement qui est impliqué.
Parce que nous sommes tous sur des données significatives, ces aventures dans la mesure ont conduit l'équipe THOR à identifier les lacunes dans les métriques disponibles concernant l'adoption du service PID et à considérer quels indicateurs supplémentaires pourraient être utiles pour les travaux futurs dans l'espace de recherche PID. Nous nous sommes maintenant lancés dans une analyse des écarts plus détaillée qui conduira à une étude de certaines de ces mesures manquantes. Étant donné que notre objectif est de favoriser l'adoption des services PID, nous avons identifié la couverture disciplinaire et la répartition géographique comme nos thèmes les plus prometteurs à poursuivre. Nous collectons actuellement les données dont nous avons besoin pour analyser l'adoption du PID dans X disciplines et Y pays - un rapport complet sera disponible plus tard cette année.
Aller de l'avant
Alors, qu'avons-nous appris tout au long de ce processus ? Tout d'abord, tout n'est pas aussi concret que vous le souhaiteriez. Lorsque vous avez affaire à des humains et à des comportements humains, les choses deviennent molles. Deuxièmement, puisque nous ne surveillons que les tendances existantes en fonction de facteurs que nous ne contrôlons pas nécessairement, certaines informations à notre disposition resteront juste « assez bonnes » jusqu'à ce que d'autres puissent effectuer un travail plus détaillé pour améliorer les données ou les étoffer. Notre travail pour la suite du projet THOR consiste à indiquer ce qu'il serait le plus utile de savoir sur l'interopérabilité, afin qu'elle puisse être étudiée.
Le domaine PID est toujours en évolution et a beaucoup de croissance et de changements en réserve. Certaines informations potentiellement précieuses nécessitent une étude plus approfondie pour être démasquées. Notre étude sur l'adoption des services, en commençant par l'analyse des lacunes, nous aidera à démarrer cette recherche, et nous espérons recueillir des informations utiles qui pourront préparer le terrain pour des travaux futurs. Nous aurons également besoin de l'aide de la communauté élargie des utilisateurs et des intégrateurs PID pour améliorer les métadonnées existantes et nous aider à envisager des mesures significatives.
Comme toujours, si vous avez des questions ou des commentaires sur THOR, veuillez entrez en contact.