Bez ohledu na to, kdo analyzuje data za účelem vyhodnocení vědeckého dopadu, ať už jde o poskytovatele grantu, správce univerzity, recenzenta nebo knihovníka, který pracuje na rozvoji sbírek, každý člověk čelí podobným výzvám při výběru a sběru dat. Zvláště jim brání výzvy týkající se granularity a agregace dat. Aby to vykompenzovalo, výzkumná komunita se pro účely hodnocení dlouho spoléhala na proxy servery kvality, jako je impakt faktor časopisu, kde je článek publikován. Ti, kteří chtějí zvážit dopad určité konkrétní položky nebo sady stipendií, musí být schopni „vyladit“ systémy shromažďování dat, aby mohli vypočítat metriky největšího zájmu. Použití trvalých identifikátorů, jako např ORCIDs a DOI, mohou podporovat takové ladění.
Tradiční stipendium je dnes k dispozici v různých formách a online místech. V nejtradičnějším publikačním modelu může být konečný publikovaný příspěvek k dispozici v časopise i na webových stránkách vydavatele. Kromě zrcadlových stránek, které by vydavatel mohl zpřístupnit po celém světě, mnoho vydavatelů přechází svůj obsah na archivační služby jako JSTOR, a také mohou mít sekundární distribuční partnerství se službami agregace plného textu, jako je např Akademické vyhledávání EBSCOHost or Gale's Academic OneFile. Abychom tento obrázek zkomplikovali, další zdroje dokumentů také obsahují předtisky uložené v místních úložištích, sdílené kopie nebo dokonce neautorizované kopie, jejichž použití je v současné době obtížné nebo nemožné agregovat.
Tento tradiční model vědecké komunikace je navíc zaměřen na články a neobsahuje vědecké výstupy, které nyní mnozí výzkumníci vytvářejí a sdílejí, jako jsou data, softwarový kód nebo blogy. Model také nezahrnuje různé formy interakce prostřednictvím citačních systémů, sociálních médií nebo opětovného použití, které by mohly poskytnout smysluplná analytická data. Konečně tento tradiční proces nezahrnuje cennou aplikaci materiálů prostřednictvím integrace do elektronických kurzů, zahrnutí do aplikací, přijetí komunitou, patentové přihlášky nebo použití v legislativních procesech - to vše lze považovat za součást celkového dopadu .
Výzva granularity
Pokud jde o granularitu, kdo nezažil výzvu, kde požadovaná věc není k dispozici na požadované úrovni? Chtěli byste koupit jednu položku, ale je k dispozici pouze ve velkém balení. Možná budete chtít jeden kabelový kanál, ale musíte se přihlásit k odběru celé řady kabelových služeb. Podobně ve vědecké komunikaci jsou informace o hodnocení příliš dlouho poskytovány pouze na úrovni deníku nebo organizace. Mimo hodnocení knihovních sbírek však lidé, kteří se zajímají o posouzení dopadů, nejčastěji chtějí znát výkon konkrétního výzkumného pracovníka, dopad konkrétního úsilí popsaného v jediném příspěvku nebo úspěch konkrétního projektu financovaného z grantu.
Aby bylo možné z celku extrahovat smysluplné prvky, musí být každá položka hodnoty jednoznačně identifikována. Do tohoto století byly identifikátory tradičně přiřazovány na úrovni „balíčku“, např ISSN pro deník nebo ISBN pro knihu. V roce 2000 jsme viděli první implementaci Digitální identifikátor objektu (DOI®), který se rychle začal používat k identifikaci jednotlivých vědeckých článků. Až do spuštění ORCID, neexistoval široce přijímaný mechanismus pro jednoznačnou identifikaci autorů článků nebo výzkumníků. Dostupnost a používání těchto identifikátorů vydláždilo cestu nástrojům a službám pro hodnocení ke shromažďování údajů na mnohem podrobnější úrovni.
Agregace dat
Druhá výzva pochází z potřeby agregovat tyto podrobnější úrovně dat. I kdyby existovala ochota sdílet data mezi poskytovateli (sama o sobě je to velká výzva) a existoval jednoduchý standardizovaný formát pro agregaci těchto dat - (další významný problém), jak může být analytik zajištěn, že získá všechny a pouze relevantní související informace dotyčnému výzkumníkovi? Agregace dopadu na publikační úrovni slouží vydavatelům a knihovnám a může být zástupcem kvality, ale je to nedokonalé měřítko přinejlepším u jednotlivých článků, které je zapotřebí k posouzení konkrétního výzkumníka/autora. Mnoho z další generace metrických iniciativ, jako je PIRUS, ImpactStory, Altmetrické.com a Analýza švestek do značné míry závisí na používání identifikátorů, jako jsou DOI a ORCID přesně agregovat svá data.
Propojení stipendia se sítí trvalých identifikátorů
As ORCID, DOI, institucionální identifikátory, a FundRef jsou přijímány v celé vědecké komunitě a každou položku stipendia lze propojit společně se sítí trvalých jedinečných identifikátorů, problémy agregace a granularity se stávají snáze přístupné. Agregace informací o výstupu konkrétního výzkumného pracovníka je možná ve všech systémech, které udržují obsah. Podobně veškerý obsah publikovaný všemi autory ve stejné instituci nebo financovaný z konkrétního grantu lze snadněji a přesněji extrahovat z velkých sbírek. Dokonce i netradiční obsah nebo netradiční média lze propojit a jejich využití agregovat, pokud metadata spojená s těmito objekty obsahují trvalé identifikátory. Bylo na čem pracovat podpořit používání citací datových souborů, zejména vedených ICSTI a CODATA, který se nakonec vyvinul do Společné zásady citace dat. Přijetí těchto zásad probíhá, ale je možné ji rozšířit tak, aby zahrnovala řadu dalších netradičních výstupů.
Není pochyb o tom, že trend směrem k většímu zájmu a uplatňování metrik ve vědeckém hodnocení se bude i nadále zrychlovat. Jednoduše existuje příliš velká poptávka po ospravedlnění investic vynaložených do výzkumu nebo vzdělávání od donorů, správců, zákonodárců a daňových poplatníků. Výzkumní pracovníci a jejich instituce by se měli zajímat o to, aby byly metriky dopadu a systémy, na nichž jsou založeny, co nejpevnější, aby bylo zajištěno správné přiřazení a započtení veškerého dluhu, který jim náleží.
Přijetí opatření ve výzkumné komunitě
Tento rozšířený zájem o metriky je jedním z důvodů, které NISO podniklo projekt na stanovení standardů a osvědčených postupů souvisejících s novými formami hodnocení. Tento projekt, podpořený grantem od Nadace Alfreda P. Sloana, usiluje o rozvoj konsensu ohledně definic altmetrií, případů použití, přístupů k hodnocení netradičních vědeckých výstupů, technické infrastruktury pro výměnu dat Altmetrics a přijímání trvalých identifikátorů. Nyní se vytvářejí pracovní skupiny pro řešení těchto pěti témat.
Výzkumníci mohou svou část podporovat toto prostředí registrací u ORCIDpomocí jejich ID o veškerém obsahu, který produkují, a trvají na tom, aby vydavatelé nebo úložiště shromažďovali a publikovali ID u článků a dalších vědeckých zdrojů. Společně můžeme pracovat na interoperabilitě, výměně dat, platnosti a důvěře, ale nejprve musí být data k dispozici ke shromažďování. Začíná to u nás všech: výzkumníků, donorů, univerzit a vydavatelů. Pokud ID nejsou odesílána ani shromažďována, data nelze agregovat ani rozlišovat a dopad naší práce nelze sledovat a analyzovat. Je ve vašem zájmu jako autora, aby vám byl kredit zpětně dohledán.