A THOR equipe está trabalhando arduamente para ajudar a criar o caminho para serviços de identificador persistente sustentável (PID) - incluindo ORCID IDs. Como acontece com qualquer objetivo de longo prazo, um pouco de autorreflexão é útil para rastrear seu progresso, considerando seus sucessos e preparando-se para enfrentar os desafios ao longo do caminho. No caso de um projeto como o THOR, podemos ajudar nessa autorreflexão desenvolvendo uma estrutura que nos ajude a medir adequadamente nosso sucesso à medida que avançamos. Mas isso geralmente é mais difícil do que você imagina.
Nos primórdios dos serviços do PID, não havia problema em se preocupar apenas com a captação, já que a prioridade era divulgar. Embora ainda tenhamos algum trabalho a fazer lá, os serviços PID amadureceram a ponto de não podermos mais nos contentar apenas em “aumentar os números”. Precisamos adaptar nossas mensagens a fim de impulsionar a inovação em direção ao futuro interoperável com o qual a THOR e nossos parceiros sonham. Ter melhores informações sobre as motivações subjacentes para a adoção de PIDs e sobre quem pode estar pronto para fazê-lo nos ajudará a impulsionar a criação de serviços que tornarão todo o sistema melhor. Para promover esta missão calorosa e amigável, precisamos de fatos concretos e frios. Então, como vamos encontrar esses fatos? E como os transformamos em algo útil e, francamente, um pouco menos espinhoso?
O que pode ser medido?
O primeiro passo para avaliar nosso progresso foi definir objetivos que sejam acionáveis e mensuráveis. Embora seja tentador definir metas de desempenho rígidas, isso é apenas uma preparação para o fracasso. Se você define o sucesso como a venda de 50 widgets e só vende 48, então, por sua própria definição, você fracassou. No caso do THOR, nosso objetivo principal é a melhoria da infraestrutura, portanto, estamos mais interessados em tendências observáveis do que em metas concretas. O desenvolvimento de indicadores-chave de desempenho (KPIs) é útil aqui. Lembre-se de que um indicador é apenas uma forma de considerar tendências (por exemplo, “número de widgets vendidos”), e não é em si um alvo (por exemplo, 50 widgets).
Como deve ser medido? (Com quais indicadores?)
A próxima etapa foi determinar como medir o que queremos medir. O objetivo aqui é selecionar indicadores valiosos e significativos. “Valioso” significa que conhecer o status do indicador nos ajudará a tomar uma decisão. “Significativo” significa que entendemos o que o indicador está realmente rastreando. Se a linha de tendência associada ao nosso indicador escolhido subir, saberemos o que isso significa para nós e saberemos como reagir?
Parte da dificuldade de selecionar indicadores dessa maneira é que as informações mais significativas e valiosas para você podem não estar imediatamente disponíveis. Quando o THOR começou a seguir o caminho do indicador, queríamos apenas medidas quantitativas facilmente coletáveis; não queríamos realizar nenhum estudo de usuário complexo. No entanto, algumas das informações que queríamos não estavam disponíveis, seja porque não estavam sendo rastreadas regularmente ou porque coletá-las nós mesmos seria um processo manual que ainda não estávamos dispostos a assumir.
Como deve ser medido? (Ferramenta ou nenhuma ferramenta?)
Depois de saber quais são seus objetivos e quais indicadores o ajudarão a acompanhar seu progresso em relação a esses objetivos, você precisa de uma maneira conveniente de monitorar tudo. Ferramentas sofisticadas podem não ser necessárias; na verdade, na maioria das vezes provavelmente não são, dependendo de quais indicadores são importantes para o seu sabor particular de sucesso. Mas queríamos demonstrar algumas das possibilidades de ter medidas PID prontas para agregar - e se formos honestos, gostamos de fantasia - então desenvolvemos um painel de instrumentos para manter tudo em um só lugar. (Leia mais sobre nosso processo em nosso Denunciar.) A criação do painel foi um bom exercício para estabelecer o que pode ser medido e como. Também nos deu a oportunidade de explorar o que podem ser métricas significativas. Por exemplo, podemos ver que a absorção de PID está aumentando e podemos ver algumas informações sobre os metadados que estão associados a esses PIDs, mas isso não nos dá nenhum insight sobre as relações causais ou nos informa precisamente por que isso tendência está acontecendo ou mesmo quem está envolvido.
Como todos se preocupam com dados significativos, essas aventuras na medição levaram a equipe do THOR a identificar lacunas nas métricas disponíveis em torno da adoção do serviço PID e a considerar quais indicadores adicionais podem ser úteis para trabalhos futuros no espaço de pesquisa do PID. Agora, embarcamos em uma análise de lacunas mais detalhada que levará a um estudo de algumas dessas medidas ausentes. Como nosso objetivo é impulsionar a adoção do serviço PID, identificamos a cobertura disciplinar e a distribuição geográfica como nossos temas mais promissores a serem perseguidos. Agora estamos coletando os dados de que precisamos para analisar a adoção do PID em disciplinas X e países Y - um relatório completo estará disponível ainda este ano.
Avançando
Então, o que aprendemos ao longo desse processo? Em primeiro lugar, nem tudo é tão concreto quanto você gostaria que fosse. Quando você está lidando com humanos e comportamentos humanos, as coisas ficam moles. Em segundo lugar, como estamos apenas monitorando as tendências existentes com base em fatores que não controlamos necessariamente, algumas informações disponíveis para nós permanecerão apenas "boas o suficiente" até que outros possam fazer um trabalho mais detalhado para melhorar os dados ou detalhá-los. Nosso trabalho para o restante do projeto THOR é apontar o que seria mais útil saber sobre interoperabilidade, para que possa ser estudado.
O campo PID ainda está em evolução e tem muito crescimento e mudanças pela frente. Algumas informações potencialmente valiosas requerem um estudo mais aprofundado para serem descobertas. Nosso estudo de adoção de serviço, começando com a análise de lacunas, nos ajudará a iniciar essa pesquisa e esperamos reunir algumas informações úteis que possam preparar o terreno para trabalhos futuros. Também precisaremos da ajuda do usuário PID mais amplo e da comunidade de integradores para melhorar os metadados existentes e nos ajudar a considerar métricas significativas.
Como sempre, se você tiver perguntas ou comentários sobre o THOR, por favor entrar em contato.