Peu importe qui analyse les données pour évaluer l'impact scientifique, qu'il s'agisse d'un bailleur de fonds, d'un administrateur universitaire, d'un examinateur par les pairs ou d'un bibliothécaire travaillant sur les efforts de développement de la collection, chaque personne est confrontée à des défis similaires dans la sélection et la collecte des données. Ils sont particulièrement gênés par les défis de la granularité et de l'agrégation des données. Pour compenser, la communauté des chercheurs s'est longtemps appuyée sur des indicateurs de qualité à des fins d'évaluation, tels que le facteur d'impact de la revue dans laquelle un article est publié. Ceux qui cherchent à prendre en compte l'impact d'un élément ou d'un ensemble d'études en particulier doivent être en mesure de « régler » les systèmes de collecte de données pour pouvoir calculer les mesures les plus intéressantes. L'utilisation d'identifiants persistants, tels que ORCIDs et DOI, peuvent prendre en charge un tel réglage.
La bourse traditionnelle est disponible sous diverses formes et emplacements en ligne de nos jours. Dans le modèle de publication le plus traditionnel, l'article publié final peut être disponible dans une revue ainsi que sur le site Web de l'éditeur. Au-delà des sites miroirs qu'un éditeur peut mettre à disposition dans le monde, de nombreux éditeurs transfèrent leur contenu vers des services d'archivage comme JSTOR, et peut également avoir des partenariats de distribution secondaire avec des services d'agrégation de texte intégral, tels que Recherche académique EBSCOHost or OneFile académique de Gale. Pour compliquer ce tableau, d'autres sources de documents incluent également des préimpressions stockées dans des référentiels locaux, des copies partagées ou même des copies non autorisées, dont l'utilisation est actuellement difficile ou impossible à agréger.
De plus, ce modèle traditionnel de communication savante est strictement axé sur les articles et n'inclut pas les résultats savants que de nombreux chercheurs créent et partagent maintenant, tels que des données, du code logiciel ou des blogs. Le modèle n'inclut pas non plus les diverses formes d'interaction via les systèmes de citation, les médias sociaux ou la réutilisation, qui pourraient fournir des données analytiques significatives. Enfin, ce processus traditionnel n'inclut pas l'application précieuse du matériel via l'intégration dans les cours en ligne, l'inclusion dans les applications, l'adoption par la communauté, les demandes de brevet ou l'utilisation dans les processus législatifs, qui pourraient tous être considérés comme une composante de l'impact global. .
Le défi de la granularité
En ce qui concerne la granularité, qui n'a pas connu le défi où la chose que vous voulez n'est pas disponible au niveau que vous le souhaitez ? Vous souhaitez acheter un seul article, mais il n'est disponible qu'en lot. Vous voudrez peut-être une chaîne câblée, mais vous devez vous abonner à un niveau complet de service câblé. De même, dans les communications savantes, les informations d'évaluation ont trop longtemps été fournies uniquement au niveau de la revue ou de l'organisation. Cependant, en dehors de l'évaluation des collections de bibliothèques, le plus souvent, les personnes intéressées par l'évaluation d'impact veulent connaître les performances d'un chercheur particulier, l'impact d'un effort particulier décrit dans un seul article ou le succès d'un projet particulier financé par une subvention.
Pour extraire les éléments significatifs de l'ensemble, chaque élément de valeur doit être identifié de manière unique. Jusqu'à ce siècle, les identifiants étaient traditionnellement attribués au niveau du « paquet », par exemple, le ISSN pour un journal ou le ISBN pour un livre. En 2000, nous avons assisté à la première mise en œuvre de la Identificateur d'objet numérique (DOI®), qui a rapidement commencé à être utilisé pour identifier des articles savants individuels. Jusqu'au lancement de ORCID, il n'y avait pas de mécanisme largement accepté pour identifier sans ambiguïté les auteurs d'articles ou les chercheurs. La disponibilité et l'utilisation de ces identifiants ont ouvert la voie aux outils et services d'évaluation pour collecter des données à un niveau beaucoup plus granulaire.
Agrégation de données
Le deuxième défi vient de la nécessité d'agréger ces niveaux de données plus granulaires. Même s'il y avait une volonté de partager des données entre les fournisseurs (ce qui est en soi un grand défi) et qu'un format simple et standardisé existait pour agréger ces données (un autre problème important), comment un analyste peut-il être assuré d'extraire toutes et seulement les informations pertinentes liées au chercheur en question ? L'agrégation de l'impact au niveau de la publication sert les éditeurs et les bibliothèques, et peut être un indicateur de qualité, mais c'est une mesure imparfaite au mieux des articles composants, qui est nécessaire pour évaluer un chercheur/auteur particulier. Bon nombre des initiatives de mesure de la prochaine génération, telles que PIRE, Histoire d'impact, Altmetric.com, et Analyse des prunes dépendent fortement de l'utilisation d'identifiants tels que le DOI et ORCID pour agréger avec précision leurs données.
Lier la bourse à un réseau d'identifiants persistants
As ORCID, EST CE QUE JE, identifiants institutionnelset RéfFonds sont adoptés dans l'ensemble de la communauté savante et chaque élément d'érudition peut être lié à un réseau d'identifiants uniques persistants, les problèmes d'agrégation et de granularité deviennent plus faciles à résoudre. L'agrégation d'informations sur les résultats d'un chercheur spécifique devient possible dans tous les systèmes qui maintiennent le contenu. De même, tous les contenus publiés par tous les auteurs d'une même institution ou financés par une subvention particulière peuvent être extraits plus facilement et plus précisément de grandes collections. Même le contenu non traditionnel ou les médias non traditionnels peuvent être liés et leur utilisation agrégée si les métadonnées associées à ces objets contiennent des identifiants persistants. Il y a eu du travail pour faire progresser l'utilisation de la citation aux ensembles de données notamment menés par l'ICSTI et CODATA, qui est finalement devenu le Principes communs sur la citation des données. L'adoption de ces principes est en cours, mais il pourrait être élargi pour couvrir une gamme d'autres produits non traditionnels.
Il ne fait aucun doute que la tendance à un plus grand intérêt et à l'application des mesures dans l'évaluation scientifique continuera de s'accélérer. Il y a tout simplement trop de demandes pour justifier les investissements réalisés dans la recherche ou l'éducation de la part des bailleurs de fonds, des administrateurs, des législateurs et des contribuables. Les chercheurs et leurs institutions devraient être intéressés à rendre les mesures d'impact et les systèmes qui les sous-tendent aussi robustes que possible pour garantir que tout le crédit qui leur est dû est correctement attribué et compté.
Agir dans la communauté de la recherche
Cet intérêt accru pour les métriques est l'une des raisons pour lesquelles NISO a entrepris un projet d'établissement de normes et de bonnes pratiques liées aux nouvelles formes d'évaluation. Ce projet, soutenu par une subvention du Fondation Alfred P. Sloan, cherche à développer un consensus autour des définitions altmetrics, des cas d'utilisation, des approches d'évaluation des résultats scientifiques non traditionnels, de l'infrastructure technique pour l'échange de données Altmetrics et de l'adoption d'identifiants persistants. Des groupes de travail pour aborder ces cinq thèmes sont en train de se former.
Les chercheurs peuvent contribuer à favoriser cet environnement en s'inscrivant auprès de ORCID, en utilisant leur ID sur tout le contenu qu'ils produisent, et insister pour que les éditeurs ou les référentiels collectent et publient des identifiants sur les articles et autres ressources savantes. Nous pouvons collectivement travailler à l'interopérabilité, à l'échange de données, à la validité et à la confiance, mais les données doivent d'abord être disponibles pour être collectées. Cela commence par nous tous : chercheurs, bailleurs de fonds, universités et éditeurs. Si la ID n'est pas soumis ou collecté, les données ne peuvent pas être agrégées ou désambiguïsées, et l'impact de notre travail ne peut pas être suivi et analysé. Il est dans votre intérêt en tant qu'auteur que le crédit vous soit retracé.