El THOR El equipo está trabajando arduamente para ayudar a forjar el camino hacia los servicios de identificadores persistentes sostenibles (PID), que incluyen ORCID iDs. Al igual que con cualquier objetivo a largo plazo, un poco de autorreflexión es útil para realizar un seguimiento de su progreso, considerar sus éxitos y prepararse para enfrentar los desafíos en el camino. En el caso de un proyecto como THOR, podemos ayudar a esta autorreflexión desarrollando una estructura que nos ayude a medir adecuadamente nuestro éxito a medida que avanzamos. Pero esto suele ser más difícil de lo que piensas.
En los primeros días de los servicios PID, estaba bien preocuparse solo por la aceptación, ya que la prioridad era correr la voz. Si bien todavía tenemos algo de trabajo por hacer allí, los servicios de PID ahora han madurado hasta el punto de que ya no podemos estar satisfechos simplemente con "aumentar los números". Necesitamos adaptar nuestros mensajes para impulsar una mayor innovación hacia el futuro interoperable con el que THOR y nuestros socios sueñan. Tener mejor información sobre las motivaciones subyacentes para adoptar PID y sobre quién podría estar listo para hacerlo nos ayudará a impulsar la creación de servicios que mejorarán todo el sistema. Para promover esta misión cálida y amistosa, necesitamos hechos duros y fríos. Entonces, ¿cómo podemos encontrar esos hechos? ¿Y cómo los convertimos en algo útil y, francamente, un poco menos espinoso?
¿Qué se puede medir?
El primer paso para evaluar nuestro progreso fue establecer objetivos que sean procesables y medibles. Aunque es tentador establecer objetivos de rendimiento estrictos, esto es solo prepararse para el fracaso. Si define el éxito como vender 50 widgets y solo vende 48, entonces, según su propia definición, ha fallado. En el caso de THOR, nuestro propósito principal es la mejora de la infraestructura, por lo que estamos más interesados en las tendencias observables que en los objetivos concretos. El desarrollo de indicadores clave de rendimiento (KPI) es útil aquí. Recuerde que un indicador es solo una forma de considerar tendencias (por ejemplo, "número de widgets vendidos"), y no es en sí mismo un objetivo (por ejemplo, 50 widgets).
¿Cómo se debe medir? (¿Con qué indicadores?)
El siguiente paso fue determinar cómo medir lo que queremos medir. El objetivo aquí es seleccionar indicadores que sean valiosos y significativos. “Valioso” significa que conocer el estado del indicador nos ayudará a tomar una decisión. “Significativo” significa que comprendemos qué es lo que el indicador está rastreando realmente. Si la línea de tendencia asociada con nuestro indicador elegido sube, ¿sabremos lo que eso significa para nosotros y sabremos cómo reaccionar?
Parte de la dificultad de seleccionar indicadores de esta manera es que la información más significativa y valiosa para usted podría no estar disponible de inmediato. Cuando THOR comenzó por primera vez en la ruta de los indicadores, solo queríamos medidas cuantitativas fácilmente recopilables; no estábamos buscando realizar estudios de usuarios complejos. Sin embargo, parte de la información que queríamos no estaba disponible, ya sea porque no se estaba rastreando de forma regular o porque recopilarla nosotros mismos habría sido un proceso manual que aún no estábamos dispuestos a realizar.
¿Cómo se debe medir? (¿Herramienta o sin herramienta?)
Una vez que sepa cuáles son sus objetivos y qué indicadores lo ayudarán a realizar un seguimiento de su progreso hacia esos objetivos, necesita una forma conveniente de monitorearlo todo. Es posible que las herramientas sofisticadas no sean necesarias, de hecho, la mayoría de las veces probablemente no lo sean, dependiendo de qué indicadores son importantes para su sabor particular de éxito. Pero queríamos demostrar algunas de las posibilidades de tener medidas PID listas para agregar, y si somos honestos, nos gusta la fantasía, así que desarrollamos un página de información de sus operaciones para mantener todo en un solo lugar. (Lea más sobre nuestro proceso en nuestro reporte.) La creación del tablero fue un buen ejercicio para establecer qué se podía medir y cómo. También nos dio la oportunidad de explorar qué métricas significativas podrían ser. Por ejemplo, podemos ver que la captación de PID está aumentando, y podemos ver algo de información sobre los metadatos que están asociados con esos PID, pero esto en realidad no nos da ninguna idea de las relaciones causales ni nos permite saber con precisión por qué esto está sucediendo una tendencia o incluso exactamente quién está involucrado.
Debido a que se trata de datos significativos, estas aventuras en la medición han llevado al equipo de THOR a identificar brechas en las métricas disponibles que rodean la adopción del servicio PID y a considerar qué indicadores adicionales podrían ser útiles para el trabajo futuro en el espacio de investigación de PID. Ahora nos hemos embarcado en un análisis de brechas más detallado que conducirá a un estudio de algunas de estas medidas faltantes. Dado que nuestro objetivo es impulsar la adopción del servicio PID, hemos identificado la cobertura disciplinaria y la distribución geográfica como nuestros temas más prometedores a seguir. Ahora estamos recopilando los datos que necesitamos para analizar la adopción de PID en X disciplinas y países Y; un informe completo estará disponible más adelante este año.
Avanzando
Entonces, ¿qué hemos aprendido a lo largo de este proceso? En primer lugar, no todo es tan concreto como desearía. Cuando se trata de humanos y comportamientos humanos, las cosas se vuelven blandas. En segundo lugar, dado que solo estamos monitoreando las tendencias existentes en función de factores que no necesariamente controlamos, parte de la información disponible para nosotros seguirá siendo "lo suficientemente buena" hasta que otros puedan hacer un trabajo más detallado para mejorar los datos o desarrollarlos. Nuestro trabajo durante el resto del proyecto THOR es señalar qué sería más útil saber sobre interoperabilidad, para que pueda ser estudiado.
El campo PID todavía está evolucionando y tiene mucho crecimiento y cambios por delante. Alguna información potencialmente valiosa requiere más estudio para desentrañarla. Nuestro estudio de adopción de servicios, que comienza con el análisis de brechas, nos ayudará a comenzar con esa investigación y esperamos recopilar información útil que pueda sentar las bases para el trabajo futuro. También necesitaremos ayuda de la comunidad más amplia de integradores y usuarios de PID para mejorar los metadatos existentes y ayudarnos a considerar métricas significativas.
Como siempre, si tiene preguntas o comentarios sobre THOR, por favor contáctanos.