I THOR Il team è al lavoro per aiutare a forgiare il percorso verso servizi di identificatore persistente sostenibile (PID), inclusi ORCID ID. Come per qualsiasi obiettivo a lungo termine, un po' di auto-riflessione è utile per tenere traccia dei tuoi progressi, considerare i tuoi successi e prepararti ad affrontare le sfide lungo il percorso. Nel caso di un progetto come THOR, possiamo aiutare questa autoriflessione sviluppando una struttura che ci aiuti a misurare correttamente il nostro successo mentre procediamo. Ma questo è spesso più difficile di quanto si possa pensare.
All'inizio dei servizi PID, andava bene preoccuparsi solo della diffusione, poiché la priorità era spargere la voce. Mentre abbiamo ancora del lavoro da fare lì, i servizi PID sono ormai maturati al punto che non possiamo più accontentarci semplicemente di "alzare i numeri". Abbiamo bisogno di personalizzare i nostri messaggi per guidare l'ulteriore innovazione verso il futuro interoperabile che THOR e i nostri partner sognano. Avere migliori informazioni sulle motivazioni alla base dell'adozione dei PID e su chi potrebbe essere pronto a farlo ci aiuterà a guidare la creazione di servizi che miglioreranno l'intero sistema. Per promuovere questa missione calorosa e amichevole, abbiamo bisogno di fatti concreti e freddi. Quindi, come possiamo trovare questi fatti? E come li trasformiamo in qualcosa di utile e, francamente, un po' meno pungente?
Cosa si può misurare?
Il primo passo per valutare i nostri progressi è stato stabilire obiettivi che fossero attuabili e misurabili. Sebbene sia allettante fissare obiettivi di prestazione rigorosi, questo è solo prepararti al fallimento. Se definisci il successo come la vendita di 50 widget e ne vendi solo 48, allora, per tua stessa definizione, hai fallito. Nel caso di THOR, il nostro scopo trainante è il miglioramento dell'infrastruttura, quindi siamo più interessati a tendenze osservabili piuttosto che a obiettivi concreti. Lo sviluppo di indicatori chiave di prestazione (KPI) è utile qui. Ricorda che un indicatore è solo un modo per considerare le tendenze (ad es. “numero di widget venduti”) e non è di per sé un obiettivo (ad es. 50 widget).
Come dovrebbe essere misurato? (Con quali indicatori?)
Il passo successivo è stato determinare come misurare ciò che vogliamo misurare. L'obiettivo qui è selezionare indicatori che siano preziosi e significativi. "Prezioso" significa che conoscere lo stato dell'indicatore ci aiuterà a prendere una decisione. "Significativo" significa che comprendiamo ciò che l'indicatore sta effettivamente monitorando. Se la linea di tendenza associata al nostro indicatore prescelto sale, sapremo cosa significa per noi e sapremo come reagire?
Parte della difficoltà di selezionare gli indicatori in questo modo è che le informazioni più significative e preziose per te potrebbero non essere immediatamente disponibili. Quando THOR ha iniziato il percorso degli indicatori, volevamo solo misure quantitative facilmente rilevabili; non stavamo cercando di intraprendere studi sugli utenti complessi. Tuttavia, alcune delle informazioni che volevamo non erano disponibili, perché non venivano monitorate regolarmente o perché raccoglierle da soli sarebbe stato un processo manuale che non eravamo ancora disposti a intraprendere.
Come dovrebbe essere misurato? (Strumento o non strumento?)
Una volta che sai quali sono i tuoi obiettivi e quali indicatori ti aiuteranno a tenere traccia dei tuoi progressi verso tali obiettivi, hai bisogno di un modo conveniente per monitorare tutto. Strumenti fantasiosi potrebbero non essere necessari, anzi la maggior parte delle volte probabilmente non lo sono, a seconda di quali indicatori sono importanti per il tuo particolare gusto del successo. Ma volevamo dimostrare alcune delle possibilità di avere misure PID pronte per l'aggregazione - e se siamo onesti, ci piace la fantasia - quindi abbiamo sviluppato un cruscotto per tenere tutto in un posto. (Leggi di più sul nostro processo nel nostro rapporto.) La creazione del dashboard è stato un buon esercizio per stabilire cosa si potesse misurare e come. Ci ha anche dato la possibilità di esplorare quali potrebbero essere metriche significative. Ad esempio, possiamo vedere che l'assorbimento dei PID è in aumento e possiamo vedere alcune informazioni sui metadati associati a quei PID, ma questo in realtà non ci dà alcuna visione delle relazioni causali o ci fa sapere esattamente perché questo tendenza sta accadendo o anche esattamente chi è coinvolto.
Poiché si tratta di dati significativi, queste avventure nella misurazione hanno portato il team THOR a identificare le lacune nelle metriche disponibili relative all'adozione del servizio PID e a considerare quali indicatori aggiuntivi potrebbero essere utili per il lavoro futuro nello spazio di ricerca PID. Ora abbiamo intrapreso un'analisi più dettagliata del divario che porterà a uno studio di alcune di queste misure mancanti. Poiché il nostro obiettivo è guidare l'adozione del servizio PID, abbiamo identificato la copertura disciplinare e la distribuzione geografica come i nostri temi più promettenti da perseguire. Stiamo raccogliendo i dati di cui abbiamo bisogno per analizzare l'adozione delle PID nelle discipline X e nei paesi Y: un rapporto completo sarà disponibile entro la fine dell'anno.
Andando avanti
Quindi cosa abbiamo imparato durante questo processo? Innanzitutto, non tutto è così concreto come vorresti che fosse. Quando hai a che fare con esseri umani e comportamenti umani, le cose si complicano. In secondo luogo, poiché stiamo solo monitorando le tendenze esistenti in base a fattori che non controlliamo necessariamente, alcune informazioni a nostra disposizione rimarranno "abbastanza buone" finché altri non potranno fare un lavoro più dettagliato per migliorare i dati o arricchirli. Il nostro compito per il resto del progetto THOR è quello di indicare ciò che sarebbe più utile sapere sull'interoperabilità, in modo che possa essere studiato.
Il campo PID è ancora in evoluzione e ha ancora molta crescita e cambiamenti in serbo. Alcune informazioni potenzialmente preziose richiedono ulteriori studi per essere scoperte. Il nostro studio sull'adozione dei servizi, che inizia con l'analisi del divario, ci aiuterà a iniziare questa ricerca e speriamo di raccogliere alcune informazioni utili che possano preparare il terreno per il lavoro futuro. Avremo anche bisogno dell'aiuto della più ampia comunità di utenti e integratori PID per migliorare i metadati esistenti e per aiutarci a considerare metriche significative.
Come sempre, se hai domande o commenti su THOR, per favore contattateci .