Indipendentemente da chi sta analizzando i dati per valutare l'impatto accademico, che si tratti di un finanziatore, un amministratore universitario, un revisore tra pari o un bibliotecario che lavora allo sviluppo della raccolta, ogni persona affronta sfide simili nella selezione e raccolta dei dati. Sono particolarmente ostacolati dalle sfide della granularità e dell'aggregazione dei dati. Per compensare, la comunità di ricerca ha fatto affidamento a lungo su proxy di qualità a fini di valutazione, come il fattore di impatto della rivista in cui viene pubblicato un articolo. Coloro che cercano di considerare l'impatto di un particolare elemento o insieme di borse di studio devono essere in grado di "sintonizzare" i sistemi di raccolta dei dati per essere in grado di calcolare le metriche di maggiore interesse. L'uso di identificatori persistenti, come ORCIDs e DOI, possono supportare tale messa a punto.
La borsa di studio tradizionale è disponibile in una varietà di forme e posizioni online in questi giorni. Nel modello di pubblicazione più tradizionale, l'articolo pubblicato finale potrebbe essere disponibile in una rivista oltre che sul sito web dell'editore. Oltre ai siti mirror che un editore potrebbe rendere disponibili in tutto il mondo, molti editori trasferiscono i propri contenuti a servizi di archiviazione come JSTOR, e può anche avere partnership di distribuzione secondaria con servizi di aggregazione full-text, come Ricerca accademica EBSCOHost or OneFile accademico di Gale. Per complicare questo quadro, altre fonti di documenti includono anche preprint archiviati in archivi locali, copie condivise o anche copie non autorizzate, il cui utilizzo è attualmente difficile o impossibile da aggregare.
Inoltre, questo tradizionale modello di comunicazione accademica è strettamente incentrato sull'articolo e non include i risultati accademici che molti ricercatori stanno creando e condividendo come dati, codice software o blog. Né il modello include le varie forme di interazione attraverso sistemi di citazione, social media o riutilizzo, che potrebbero fornire dati analitici significativi. Infine, questo processo tradizionale non include la preziosa applicazione dei materiali attraverso l'integrazione nei corsi elettronici, l'inclusione nelle domande, l'adozione da parte della comunità, le domande di brevetto o l'uso nei processi legislativi, tutte cose che si potrebbero considerare una componente di impatto complessivo .
La sfida della granularità
Per quanto riguarda la granularità, chi non ha sperimentato la sfida in cui la cosa che desideri non è disponibile al livello che desideri? Vorresti acquistare un singolo articolo, ma è disponibile solo in un pacchetto all'ingrosso. Potresti volere un canale via cavo, ma devi abbonarti a un intero livello di servizio via cavo. Allo stesso modo, nelle comunicazioni accademiche, le informazioni sulla valutazione sono state fornite per troppo tempo solo a livello di rivista o di organizzazione. Tuttavia, al di fuori della valutazione delle collezioni delle biblioteche, molto spesso le persone interessate alla valutazione dell'impatto vogliono conoscere le prestazioni di un particolare ricercatore, l'impatto di un particolare sforzo descritto in un singolo documento o il successo di un particolare progetto finanziato con sovvenzioni.
Per estrarre gli elementi significativi dall'insieme, ogni elemento di valore deve essere identificato in modo univoco. Fino a questo secolo, gli identificatori erano stati tradizionalmente assegnati a livello di "pacchetto", ad es ISSN per un diario o il ISBN per un libro. Nel 2000, abbiamo assistito alla prima implementazione del Identificatore di oggetti digitali (DOI®), che ha iniziato rapidamente a essere utilizzato per identificare singoli articoli accademici. Fino al lancio di ORCID, non esisteva un meccanismo ampiamente accettato per identificare in modo univoco gli autori di articoli o ricercatori. La disponibilità e l'utilizzo di questi identificatori ha spianato la strada a strumenti e servizi di valutazione per raccogliere dati a un livello molto più granulare.
Aggregazione dei dati
La seconda sfida deriva dalla necessità di aggregare questi livelli di dati più granulari. Anche se ci fosse la volontà di condividere i dati tra i fornitori (di per sé una grande sfida) ed esistesse un formato semplice e standardizzato per aggregare quei dati (un altro problema significativo), come può un analista essere certo di estrarre tutte e solo le informazioni rilevanti relative? al ricercatore in questione? L'aggregazione dell'impatto a livello di pubblicazione serve agli editori e alle biblioteche e può essere un indicatore della qualità, ma è una misura imperfetta nella migliore delle ipotesi degli articoli componenti, necessaria per valutare un particolare ricercatore/autore. Molte delle iniziative di prossima generazione di metriche come PIRO, Storia d'impatto, altmetrics.com e Analisi della prugna dipendono fortemente dall'uso di identificatori come DOI e ORCID aggregare accuratamente i propri dati.
Collegamento della borsa di studio con una rete di identificatori persistenti
As ORCID, DOI, identificatori istituzionalie FondoRif sono adottati in tutta la comunità accademica e ogni oggetto di studio può essere collegato insieme a una rete di identificatori univoci persistenti, i problemi di aggregazione e granularità diventano più trattabili. L'aggregazione delle informazioni sull'output di un ricercatore specifico diventa possibile in tutti i sistemi che mantengono il contenuto. Allo stesso modo, tutti i contenuti pubblicati da tutti gli autori presso la stessa istituzione o finanziati da un particolare finanziamento possono essere estratti più facilmente e con maggiore precisione da grandi raccolte. Anche contenuti o media non tradizionali possono essere collegati e il loro utilizzo aggregato se i metadati associati a tali oggetti contengono identificatori persistenti. C'è stato lavoro per promuovere l'uso della citazione per i set di dati, in particolare guidati da ICSTI e CODATA, che alla fine si sviluppò in Principi comuni sulla citazione dei dati. L'adozione di questi principi è in corso, ma potrebbe essere ampliata per coprire una serie di altri prodotti non tradizionali.
Non c'è dubbio che la tendenza verso un maggiore interesse e applicazione di metriche nella valutazione accademica continuerà ad accelerare. C'è semplicemente troppa richiesta di giustificare gli investimenti fatti nella ricerca o nell'istruzione da parte di finanziatori, amministratori, legislatori e contribuenti. I ricercatori e le loro istituzioni dovrebbero essere interessati a rendere le metriche di impatto e i sistemi che le sottendono il più robusti possibile per garantire che tutto il credito loro dovuto sia correttamente attribuito e conteggiato.
Agire nella comunità di ricerca
Questo maggiore interesse per le metriche è uno dei motivi per cui NISO si è impegnata un progetto per stabilire standard e buone pratiche relative a nuove forme di valutazione. Questo progetto, sostenuto da una sovvenzione del Fondazione Alfred P. Sloan, sta cercando di sviluppare un consenso su definizioni di Altmetrics, casi d'uso, approcci alla valutazione di risultati accademici non tradizionali, infrastrutture tecniche per lo scambio di dati di Altmetrics e adozione di identificatori persistenti. Si stanno formando gruppi di lavoro per affrontare questi cinque temi.
I ricercatori possono fare la loro parte per promuovere questo ambiente registrandosi con ORCID, usando il loro ID su tutti i contenuti che producono e insistono affinché editori o archivi raccolgano e pubblichino ID su articoli e altre risorse accademiche. Insieme possiamo lavorare per l'interoperabilità, lo scambio di dati, la validità e la fiducia, ma prima i dati devono essere disponibili per essere raccolti. Inizia da tutti noi: ricercatori, finanziatori, università ed editori. Se la ID non viene inviato o raccolto, i dati non possono essere aggregati o disambiguati e l'impatto del nostro lavoro non può essere tracciato e analizzato. È nel tuo interesse come autore che il credito venga ricondotto a te.