Independientemente de quién esté analizando los datos para evaluar el impacto académico, ya sea un financiador de subvenciones, un administrador universitario, un revisor de pares o un bibliotecario que trabaja en los esfuerzos de desarrollo de la colección, cada persona enfrenta desafíos similares en la selección y recopilación de datos. Se ven particularmente obstaculizados por los desafíos de la granularidad y agregación de datos. Para compensar, la comunidad investigadora ha confiado durante mucho tiempo en indicadores de calidad para fines de evaluación, como el factor de impacto de la revista donde se publica un artículo. Aquellos que buscan considerar el impacto de algún elemento o conjunto de becas en particular deben poder "sintonizar" los sistemas de recopilación de datos para poder calcular las métricas de mayor interés. El uso de identificadores persistentes, como ORCIDsy DOI, pueden admitir dicha sintonización.
La beca tradicional está disponible en una variedad de formas y ubicaciones en línea en estos días. En el modelo de publicación más tradicional, el artículo final publicado podría estar disponible en una revista, así como en el sitio web del editor. Más allá de los sitios espejo que un editor puede poner a disposición en todo el mundo, muchos editores transfieren su contenido a servicios de archivo como JSTOR, y también puede tener asociaciones de distribución secundaria con servicios de agregación de texto completo, como Búsqueda Académica EBSCOHost or OneFile académico de Gale. Para complicar este panorama, otras fuentes de artículos también incluyen preimpresiones almacenadas en repositorios locales, copias compartidas o incluso copias no autorizadas, cuyo uso es actualmente difícil o imposible de agregar.
Además, este modelo tradicional de comunicaciones académicas se centra estrictamente en los artículos y no incluye resultados académicos que muchos investigadores están creando y compartiendo ahora, como datos, código de software o blogs. El modelo tampoco incluye las diversas formas de interacción a través de sistemas de citas, redes sociales o reutilización, que podrían proporcionar datos analíticos significativos. Por último, este proceso tradicional no incluye la valiosa aplicación de los materiales a través de la integración en cursos electrónicos, la inclusión en las solicitudes, la adopción por la comunidad, las solicitudes de patentes o el uso en procesos legislativos, todo lo cual se podría considerar como un componente del impacto general. .
El desafío de la granularidad
Con respecto a la granularidad, ¿quién no ha experimentado el desafío en el que lo que desea no está disponible en el nivel que desea? Le gustaría comprar un solo artículo, pero solo está disponible en un paquete a granel. Es posible que desee un canal de cable, pero debe suscribirse a un nivel completo de servicio de cable. De manera similar, en las comunicaciones académicas, la información de evaluación durante demasiado tiempo solo se ha proporcionado a nivel de revista o de organización. Sin embargo, fuera de la evaluación de las colecciones de la biblioteca, la mayoría de las personas interesadas en la evaluación de impacto desean conocer el desempeño de un investigador en particular, el impacto de un esfuerzo particular descrito en un solo artículo o el éxito de un proyecto en particular financiado con una subvención.
Para extraer los elementos significativos del todo, cada elemento de valor debe identificarse de forma única. Hasta este siglo, los identificadores se habían asignado tradicionalmente a nivel de "paquete", por ejemplo, el ISSN para una revista o el ISBN por un libro. En 2000, vimos la primera implementación del Identificador de objeto digital (DOI®), que rápidamente comenzó a utilizarse para identificar artículos académicos individuales. Hasta el lanzamiento de ORCID, no existía un mecanismo ampliamente aceptado para identificar de manera inequívoca a los autores de artículos o investigadores. La disponibilidad y el uso de estos identificadores ha allanado el camino para que las herramientas y los servicios de evaluación recopilen datos a un nivel mucho más granular.
Agregación de datos
El segundo desafío proviene de la necesidad de agregar estos niveles de datos más granulares. Incluso si hubiera una voluntad de compartir datos entre proveedores (en sí mismo un gran desafío) y existiera un formato simple y estandarizado para agregar esos datos (otro problema significativo), ¿cómo puede un analista estar seguro de extraer toda y solo la información relevante relacionada? al investigador en cuestión? La agregación del impacto a nivel de publicación sirve a los editores y bibliotecas, y puede ser un indicador de la calidad, pero es una medida imperfecta en el mejor de los artículos que la componen, que es necesaria para evaluar a un investigador / autor en particular. Muchas de las iniciativas de métricas de próxima generación, como PIRO, Historia de impacto, Altmetrics.com y análisis de ciruela dependen en gran medida del uso de identificadores como DOI y ORCID para agregar con precisión sus datos.
Vincular la beca con una red de identificadores persistentes
As ORCID, DOI, identificadores institucionalesy Ref. de fondo se adoptan en toda la comunidad académica y cada elemento de la investigación se puede vincular con una red de identificadores únicos persistentes, los problemas de agregación y granularidad se vuelven más manejables. La agregación de información sobre la producción de un investigador específico es posible en todos los sistemas que mantienen el contenido. Del mismo modo, todo el contenido publicado por todos los autores en la misma institución o financiado por una subvención en particular se puede extraer con mayor facilidad y precisión de grandes colecciones. Incluso el contenido no tradicional o los medios no tradicionales se pueden vincular y su uso se puede agregar si los metadatos asociados con esos objetos contienen identificadores persistentes. Ha habido trabajo para avanzar en el uso de citas en conjuntos de datos dirigidos principalmente por ICSTI y CODATA, que eventualmente se convirtió en el Principios conjuntos sobre la cita de datos. La adopción de estos principios está en curso, pero podría ampliarse para cubrir una gama de otros productos no tradicionales.
No hay duda de que la tendencia hacia un mayor interés y aplicación de métricas en la evaluación académica seguirá acelerándose. Simplemente hay demasiada demanda para justificar las inversiones realizadas en investigación o educación por parte de financiadores, administradores, legisladores y contribuyentes. Los investigadores y sus instituciones deben estar interesados en hacer que las métricas de impacto y los sistemas subyacentes sean lo más robustos posible para garantizar que todo el crédito que se les debe se atribuya y cuente correctamente.
Actuar en la comunidad de investigación
Este mayor interés en las métricas es una de las razones por las que NISO ha emprendido un proyecto para establecer estándares y mejores prácticas relacionadas con nuevas formas de evaluación. Este proyecto, apoyado por una subvención de la Fundación Alfred P. Sloan, busca desarrollar consenso en torno a definiciones de altmetrics, casos de uso, enfoques para la evaluación de resultados académicos no tradicionales, infraestructura técnica para el intercambio de datos de altmetrics y la adopción de identificadores persistentes. Se están formando grupos de trabajo para abordar estos cinco temas.
Los investigadores pueden contribuir a fomentar este entorno registrándose en ORCID, usando su ID sobre todo el contenido que producen, e insisten en que los editores o repositorios recopilen y publiquen las identificaciones de los artículos y otros recursos académicos. En conjunto, podemos trabajar hacia la interoperabilidad, el intercambio de datos, la validez y la confianza, pero primero los datos deben estar disponibles para su recopilación. Eso comienza con todos nosotros: investigadores, patrocinadores, universidades y editores. Si el ID no se envía ni se recopila, los datos no se pueden agregar ni eliminar la ambigüedad, y el impacto de nuestro trabajo no se puede rastrear ni analizar. Es de su interés como autor que se le rastree el crédito.