Independentemente de quem está analisando dados para avaliar o impacto acadêmico, seja um financiador, um administrador de universidade, um revisor ou um bibliotecário trabalhando nos esforços de desenvolvimento de coleções, cada pessoa enfrenta desafios semelhantes na seleção e coleta de dados. Eles são particularmente dificultados pelos desafios de granularidade e agregação de dados. Para compensar, a comunidade de pesquisa há muito confia em proxies de qualidade para fins de avaliação, como o fator de impacto do periódico onde um artigo é publicado. Aqueles que procuram considerar o impacto de algum item ou conjunto específico de bolsa de estudos precisam ser capazes de “sintonizar” os sistemas de coleta de dados para poder calcular as métricas de maior interesse. O uso de identificadores persistentes, como ORCIDse DOIs, podem suportar tal ajuste.
Atualmente, a bolsa de estudos tradicional está disponível em uma variedade de formas e locais online. No modelo de publicação mais tradicional, o artigo final publicado pode estar disponível em um periódico, bem como no site da editora. Além dos sites espelho que um editor pode disponibilizar em todo o mundo, muitos editores fazem a transição de seu conteúdo para serviços de arquivamento, como JSTOR, e também pode ter parcerias de distribuição secundária com serviços de agregação de texto completo, como Pesquisa Acadêmica EBSCOHost or Gale's Academic OneFile. Para complicar esse quadro, outras fontes de documentos também incluem pré-impressões armazenadas em repositórios locais, cópias compartilhadas ou mesmo cópias não autorizadas, cujo uso é atualmente difícil ou impossível de agregar.
Além disso, esse modelo de comunicação acadêmica tradicional é estritamente focado em artigos e não inclui resultados acadêmicos que muitos pesquisadores estão criando e compartilhando, como dados, código de software ou blogs. O modelo também não inclui as várias formas de interação por meio de sistemas de citação, mídia social ou reutilização, que podem fornecer dados analíticos significativos. Finalmente, este processo tradicional não inclui a aplicação valiosa dos materiais por meio da integração em cursos eletrônicos, inclusão em aplicativos, adoção pela comunidade, pedidos de patentes ou uso em processos legislativos - todos os quais podem ser considerados um componente de impacto geral .
O desafio da granularidade
Em relação à granularidade, quem não experimentou o desafio em que o que você deseja não está disponível no nível que você deseja? Você gostaria de comprar um único item, mas ele só está disponível em um pacote a granel. Você pode querer um canal a cabo, mas precisa se inscrever em todo um nível de serviço a cabo. Da mesma forma, nas comunicações acadêmicas, as informações de avaliação por muito tempo são fornecidas apenas no periódico ou no nível organizacional. No entanto, fora da avaliação de coleções de bibliotecas, na maioria das vezes as pessoas interessadas na avaliação de impacto desejam saber o desempenho de um determinado pesquisador, o impacto de um determinado esforço descrito em um único artigo ou o sucesso de um determinado projeto financiado por uma doação.
Para extrair os elementos significativos do todo, cada item de valor deve ser identificado de forma única. Até este século, os identificadores eram tradicionalmente atribuídos no nível do "pacote", por exemplo, o ISSN para um jornal ou o ISBN para um livro. Em 2000, vimos a primeira implementação do Identificador de objeto digital (DOI®), que rapidamente começou a ser usado para identificar artigos acadêmicos individuais. Até o lançamento de ORCID, não havia um mecanismo amplamente aceito para identificar de forma inequívoca os autores de artigos ou pesquisadores. A disponibilidade e o uso desses identificadores pavimentaram o caminho para que ferramentas e serviços de avaliação coletem dados em um nível muito mais granular.
Agregação de dados
O segundo desafio vem da necessidade de agregar esses níveis de dados mais granulares. Mesmo se houvesse uma vontade de compartilhar dados entre os provedores (em si mesmo um grande desafio) e um formato simples e padronizado existisse para agregar esses dados - (outro problema significativo), como um analista pode ter certeza de extrair todas e apenas as informações relevantes relacionadas para o pesquisador em questão? A agregação do impacto no nível da publicação atende aos editores e bibliotecas e pode ser um indicador de qualidade, mas é uma medida imperfeita, na melhor das hipóteses, dos artigos componentes, que é necessária para avaliar um pesquisador / autor específico. Muitas das iniciativas de métricas da próxima geração, como PIRO, História de impacto, Altmetric.com e Análise de ameixa dependem muito do uso de identificadores como DOI e ORCID para agregar com precisão seus dados.
Vinculando bolsa de estudos a uma rede de identificadores persistentes
As ORCID, DOI, identificadores institucionais e Ref do Fundo são adotados em toda a comunidade acadêmica e cada item da bolsa pode ser vinculado a uma rede de identificadores únicos persistentes, os problemas de agregação e granularidade se tornam mais tratáveis. Agregar informações sobre a produção de um pesquisador específico torna-se possível em todos os sistemas que mantêm conteúdo. Da mesma forma, todo o conteúdo publicado por todos os autores na mesma instituição ou financiado por uma bolsa específica pode ser extraído com mais facilidade e precisão de grandes coleções. Mesmo conteúdo não tradicional ou mídia não tradicional pode ser vinculado e seu uso agregado se os metadados associados a esses objetos contiverem identificadores persistentes. Tem havido trabalho para Avançar o uso de citação para conjuntos de dados, principalmente liderados por ICSTI e CODATA, que acabou se transformando no Princípios conjuntos sobre citação de dados. A adoção desses princípios está em andamento, mas poderia ser expandida para cobrir uma gama de outros produtos não tradicionais.
Não há dúvida de que a tendência de maior interesse e aplicação de métricas na avaliação acadêmica continuará a se acelerar. Simplesmente, há muita demanda para justificar os investimentos feitos em pesquisa ou educação de financiadores, administradores, legisladores e contribuintes. Os pesquisadores e suas instituições devem estar interessados em tornar as métricas de impacto e os sistemas que os sustentam o mais robustos possível para garantir que todo o crédito devido a eles seja atribuído e contado de maneira adequada.
Atuando na comunidade de pesquisa
Este interesse expandido em métricas é uma das razões pelas quais a NISO empreendeu um projeto para estabelecer padrões e melhores práticas relacionadas a novas formas de avaliação. Este projeto, apoiado por uma bolsa do Fundação Alfred P. Sloan, está buscando desenvolver um consenso em torno de definições altmétricas, casos de uso, abordagens para avaliação de resultados acadêmicos não tradicionais, infraestrutura técnica para troca de dados Altmétricos e a adoção de identificadores persistentes. Grupos de trabalho para tratar desses cinco temas estão se formando.
Os pesquisadores podem fazer sua parte para promover este ambiente, registrando-se com ORCID, usando seus ID sobre todo o conteúdo que produzem e insistem que editores ou repositórios coletem e publiquem IDs de artigos e outros recursos acadêmicos. Podemos trabalhar coletivamente em prol da interoperabilidade, troca de dados, validade e confiança, mas primeiro os dados precisam estar disponíveis para serem coletados. Isso começa com todos nós: pesquisadores, financiadores, universidades e editoras. Se o ID não é enviado ou coletado, os dados não podem ser agregados ou eliminados e o impacto do nosso trabalho não pode ser rastreado e analisado. É do seu interesse como autor que o crédito seja rastreado de volta para você.