Unabhängig davon, wer Daten analysiert, um die wissenschaftliche Wirkung zu bewerten, sei es ein Zuschussgeber, ein Universitätsverwalter, ein Peer-Reviewer oder ein Bibliothekar, der an Sammlungsentwicklungsbemühungen arbeitet, jede Person steht bei der Datenauswahl und -sammlung vor ähnlichen Herausforderungen. Sie werden insbesondere durch die Herausforderungen der Datengranularität und -aggregation behindert. Um dies zu kompensieren, verlässt sich die Forschungsgemeinschaft bei der Bewertung seit langem auf Qualitätsindikatoren, beispielsweise auf den Impact Factor der Zeitschrift, in der ein Artikel veröffentlicht wird. Wer die Auswirkungen eines bestimmten Themas oder einer Reihe von wissenschaftlichen Erkenntnissen berücksichtigen möchte, muss in der Lage sein, die Datenerfassungssysteme „abzustimmen“, um die Metriken berechnen zu können, die am interessantesten sind. Die Verwendung persistenter Identifikatoren, wie z ORCIDs und DOIs, können eine solche Abstimmung unterstützen.
Traditionelle Stipendien sind heutzutage in verschiedenen Formen und an verschiedenen Online-Standorten verfügbar. Im traditionellsten Publikationsmodell könnte der endgültige veröffentlichte Artikel sowohl in einer Zeitschrift als auch auf der Website des Herausgebers verfügbar sein. Über die Mirror-Sites hinaus, die ein Verlag möglicherweise weltweit verfügbar macht, stellen viele Verlage ihre Inhalte auf Archivierungsdienste wie um JSTOR, und kann auch sekundäre Vertriebspartnerschaften mit Volltext-Aggregationsdiensten haben, wie z EBSCOHost Akademische Suche or Gales akademisches OneFile. Um dieses Bild zu verkomplizieren, umfassen andere Quellen für Papiere auch Vorabdrucke, die in lokalen Repositorien gespeichert sind, geteilte Kopien oder sogar nicht autorisierte Kopien, deren Nutzung derzeit nur schwer oder gar nicht aggregiert werden kann.
Darüber hinaus ist dieses traditionelle wissenschaftliche Kommunikationsmodell ausschließlich auf Artikel ausgerichtet und umfasst keine wissenschaftlichen Ergebnisse, die viele Forscher jetzt erstellen und teilen, wie z. B. Daten, Softwarecode oder Blogs. Das Modell berücksichtigt auch nicht die verschiedenen Formen der Interaktion durch Zitiersysteme, soziale Medien oder Wiederverwendung, die aussagekräftige analytische Daten liefern könnten. Schließlich umfasst dieser traditionelle Prozess nicht die wertvolle Anwendung der Materialien durch die Integration in E-Kurse, die Aufnahme in Anwendungen, die Übernahme durch die Gemeinschaft, Patentanmeldungen oder die Verwendung in Gesetzgebungsprozessen – die man allesamt als Bestandteil der Gesamtwirkung betrachten könnte .
Die Herausforderung der Granularität
Was die Granularität angeht: Wer hat nicht schon einmal die Herausforderung erlebt, dass das gewünschte Objekt nicht in der gewünschten Menge verfügbar ist? Sie möchten einen einzelnen Artikel kaufen, dieser ist jedoch nur in einer Großpackung verfügbar. Möglicherweise möchten Sie einen Kabelkanal, müssen jedoch eine ganze Kabeldienststufe abonnieren. Auch in der wissenschaftlichen Kommunikation wurden Bewertungsinformationen zu lange nur auf Zeitschriften- oder Organisationsebene bereitgestellt. Außerhalb der Bewertung von Bibliotheksbeständen möchten die an der Folgenabschätzung interessierten Personen jedoch meist die Leistung eines bestimmten Forschers, die Auswirkungen einer bestimmten, in einem einzelnen Artikel beschriebenen Anstrengung oder den Erfolg eines bestimmten durch Zuschüsse finanzierten Projekts erfahren.
Um die sinnvollen Elemente aus dem Ganzen zu extrahieren, muss jeder Wertgegenstand eindeutig identifiziert werden. Bis zu diesem Jahrhundert wurden Identifikatoren traditionell auf der „Paket“-Ebene zugewiesen, z. B. die ISSN für eine Zeitschrift oder die ISBN für ein Buch. Im Jahr 2000 erlebten wir die erste Implementierung des Digital Object Identifier (DOI®), das schnell zur Identifizierung einzelner wissenschaftlicher Artikel verwendet wurde. Bis zum Start von ORCIDgab es keinen allgemein akzeptierten Mechanismus zur eindeutigen Identifizierung von Artikelautoren oder Forschern. Die Verfügbarkeit und Verwendung dieser Identifikatoren hat den Weg für Bewertungstools und -dienste geebnet, um Daten auf einer viel detaillierteren Ebene zu sammeln.
Datenaggregation
Die zweite Herausforderung ergibt sich aus der Notwendigkeit, diese detaillierteren Datenebenen zu aggregieren. Selbst wenn die Bereitschaft bestünde, Daten zwischen den Anbietern auszutauschen (was an sich schon eine große Herausforderung darstellt) und es ein einfaches, standardisiertes Format gäbe, um diese Daten zu aggregieren (ein weiteres erhebliches Problem), wie kann ein Analyst dann sicher sein, alle relevanten Informationen zu extrahieren? an den betreffenden Forscher? Die Aggregation der Wirkung auf Publikationsebene dient den Verlagen und Bibliotheken und kann ein Indikator für die Qualität sein, ist jedoch bestenfalls ein unvollkommenes Maß für die einzelnen Artikel, die zur Beurteilung eines bestimmten Forschers/Autors erforderlich sind. Viele der nächsten Generation von Metrikinitiativen wie z PIRUS, ImpactStory, Altmetrisch.com und Pflaumenanalytik hängen stark von der Verwendung von Identifikatoren wie DOI und ab ORCID um ihre Daten genau zu aggregieren.
Verknüpfung von Wissenschaft mit einem Netzwerk persistenter Identifikatoren
As ORCID, DOI, institutionelle Identifikatoren und FundRef werden in der gesamten wissenschaftlichen Gemeinschaft übernommen und jedes wissenschaftliche Element kann mit einem Netzwerk dauerhafter eindeutiger Identifikatoren verknüpft werden, wodurch die Probleme der Aggregation und Granularität leichter lösbar werden. Die Aggregation von Informationen über die Ergebnisse eines bestimmten Forschers wird über alle Systeme hinweg möglich, die Inhalte verwalten. Ebenso können alle Inhalte, die von allen Autoren derselben Institution veröffentlicht oder durch ein bestimmtes Stipendium finanziert wurden, einfacher und genauer aus großen Sammlungen extrahiert werden. Sogar nicht-traditionelle Inhalte oder nicht-traditionelle Medien können verknüpft und ihre Nutzung aggregiert werden, wenn die mit diesen Objekten verknüpften Metadaten dauerhafte Identifikatoren enthalten. Es wurde daran gearbeitet Weiterentwicklung der Verwendung von Zitaten für Datensätze, insbesondere unter der Leitung von ICSTI und CODATA, aus dem sich schließlich das entwickelte Gemeinsame Grundsätze zur Datenzitierung. Die Übernahme dieser Grundsätze ist im Gange, sie könnte jedoch ausgeweitet werden, um eine Reihe anderer nicht-traditioneller Ergebnisse abzudecken.
Es besteht kaum Zweifel, dass sich der Trend zu größerem Interesse an und Anwendung von Metriken in der wissenschaftlichen Bewertung weiter beschleunigen wird. Es besteht einfach zu viel Nachfrage seitens Geldgebern, Verwaltungen, Gesetzgebern und Steuerzahlern, die in Forschung oder Bildung getätigten Investitionen zu rechtfertigen. Forscher und ihre Institutionen sollten daran interessiert sein, Wirkungsmetriken und die ihnen zugrunde liegenden Systeme so robust wie möglich zu gestalten, um sicherzustellen, dass die gesamte ihnen zustehende Anerkennung ordnungsgemäß zugeordnet und gezählt wird.
Aktiv werden in der Forschungsgemeinschaft
Dieses erweiterte Interesse an Metriken ist einer der Gründe, warum sich NISO engagiert hat ein Projekt zur Festlegung von Standards und Best Practices im Zusammenhang mit neuen Bewertungsformen. Dieses Projekt wird durch ein Stipendium der unterstützt Alfred P. Sloan-Stiftung, versucht, einen Konsens über Altmetrics-Definitionen, Anwendungsfälle, Ansätze zur Bewertung nicht-traditioneller wissenschaftlicher Ergebnisse, technische Infrastruktur für den Altmetrics-Datenaustausch und die Einführung persistenter Identifikatoren zu erzielen. Derzeit werden Arbeitsgruppen gebildet, die sich mit diesen fünf Themen befassen.
Forscher können ihren Teil zur Förderung dieses Umfelds beitragen, indem sie sich registrieren ORCID, mit ihren ID auf alle von ihnen produzierten Inhalte und bestehen darauf, dass Verlage oder Repositorien IDs für Artikel und andere wissenschaftliche Ressourcen sammeln und veröffentlichen. Wir können gemeinsam auf Interoperabilität, Datenaustausch, Gültigkeit und Vertrauen hinarbeiten, aber zuerst müssen die Daten verfügbar sein, um gesammelt zu werden. Das beginnt bei uns allen: Forschern, Geldgebern, Universitäten und Verlagen. Wenn die ID werden nicht übermittelt oder gesammelt, die Daten können nicht aggregiert oder eindeutig gemacht werden und die Auswirkungen unserer Arbeit können nicht verfolgt und analysiert werden. Es liegt in Ihrem Interesse als Autor, dass die Urheberschaft auf Sie zurückgeführt wird.