Niezależnie od tego, kto analizuje dane w celu oceny wpływu naukowego, czy to fundator grantów, administrator uniwersytetu, recenzent czy bibliotekarz pracujący nad rozwojem kolekcji, każda osoba stoi przed podobnymi wyzwaniami w zakresie selekcji i gromadzenia danych. Są one szczególnie utrudnione przez wyzwania związane z granulacją i agregacją danych. Aby to zrekompensować, społeczność naukowa od dawna polega na wskaźnikach jakości do celów oceny, takich jak współczynnik wpływu czasopisma, w którym publikowany jest artykuł. Ci, którzy chcą rozważyć wpływ jakiejś konkretnej pozycji lub zestawu badań, muszą być w stanie „dostroić” systemy gromadzenia danych, aby móc obliczyć najbardziej interesujące wskaźniki. Używanie trwałych identyfikatorów, takich jak ORCIDs i DOI mogą obsługiwać takie strojenie.
Tradycyjne stypendia są obecnie dostępne w różnych formach i lokalizacjach online. W najbardziej tradycyjnym modelu publikacji ostateczna opublikowana praca może być dostępna zarówno w czasopiśmie, jak i na stronie internetowej wydawcy. Oprócz witryn lustrzanych, które wydawca może udostępnić na całym świecie, wielu wydawców przenosi swoje treści do usług archiwizacji, takich jak JSTOR, a także mogą mieć drugorzędne partnerstwa dystrybucyjne z usługami agregacji pełnego tekstu, takimi jak Wyszukiwanie akademickie EBSCOHost or Akademicki OneFile Gale'a. Aby skomplikować ten obraz, inne źródła dokumentów obejmują również preprinty przechowywane w lokalnych repozytoriach, udostępniane kopie, a nawet nieautoryzowane kopie, z których wykorzystanie jest obecnie trudne lub niemożliwe do zebrania.
Co więcej, ten tradycyjny model komunikacji naukowej jest ściśle skoncentrowany na artykułach i nie obejmuje wyników naukowych, które obecnie tworzy i udostępnia wielu badaczy, takich jak dane, kod oprogramowania czy blogi. Model nie obejmuje również różnych form interakcji za pośrednictwem systemów cytowań, mediów społecznościowych ani ponownego wykorzystania, które mogłyby dostarczyć znaczących danych analitycznych. Wreszcie, ten tradycyjny proces nie obejmuje wartościowego zastosowania materiałów poprzez integrację z e‑kursami, włączenie do aplikacji, przyjęcie przez społeczność, zgłoszenia patentowe lub wykorzystanie w procesach legislacyjnych – wszystko to można uznać za składnik ogólnego wpływu .
Wyzwanie ziarnistości
Jeśli chodzi o szczegółowość, kto nie doświadczył wyzwania, w którym rzecz, której chcesz, nie jest dostępna na pożądanym poziomie? Chcesz kupić pojedynczy przedmiot, ale jest on dostępny tylko w opakowaniu zbiorczym. Możesz chcieć jeden kanał kablowy, ale musisz subskrybować cały poziom usług kablowych. Podobnie w komunikacji naukowej informacje dotyczące oceny zbyt długo były podawane tylko na poziomie czasopisma lub organizacji. Jednak poza oceną zbiorów bibliotecznych, najczęściej osoby zainteresowane oceną wpływu chcą poznać wyniki pracy konkretnego badacza, wpływ konkretnego wysiłku opisanego w jednym artykule lub sukces konkretnego projektu finansowanego z grantów.
Aby wyodrębnić znaczące elementy z całości, każdy wartościowy element musi być jednoznacznie zidentyfikowany. Do tego stulecia identyfikatory były tradycyjnie przypisywane na poziomie „pakietu”, np ISSN dla dziennika lub ISBN za książkę. W 2000 roku byliśmy świadkami pierwszej realizacji programu Cyfrowy identyfikator obiektu (DOI®), które szybko zaczęto wykorzystywać do identyfikacji poszczególnych artykułów naukowych. Do czasu uruchomienia ORCID, nie było powszechnie akceptowanego mechanizmu jednoznacznej identyfikacji autorów artykułów lub badaczy. Dostępność i wykorzystanie tych identyfikatorów utorowało drogę narzędziom i usługom oceny do gromadzenia danych na znacznie bardziej szczegółowym poziomie.
Agregacja danych
Drugie wyzwanie wynika z potrzeby agregowania tych bardziej szczegółowych poziomów danych. Nawet gdyby istniała chęć udostępniania danych między dostawcami (co samo w sobie stanowiło duże wyzwanie) i istniał prosty, ustandaryzowany format do agregowania tych danych — (kolejny istotny problem), skąd analityk może mieć pewność, że wydobędzie wszystkie i tylko istotne informacje związane do danego badacza? Agregacja wpływu na poziomie publikacji służy wydawcom i bibliotekom i może być wyznacznikiem jakości, ale jest co najwyżej niedoskonałą miarą artykułów składowych, która jest potrzebna do oceny konkretnego badacza/autora. Wiele inicjatyw związanych z pomiarami nowej generacji, takich jak PIRUS, Historia wpływu, Altmetryczny.com i Analiza śliwki w dużym stopniu zależą od wykorzystania identyfikatorów, takich jak DOI i ORCID dokładnie agregować swoje dane.
Powiązanie stypendium z siecią trwałych identyfikatorów
As ORCID, DOI, identyfikatory instytucjonalne, Nr ref. funduszu są przyjmowane w całej społeczności naukowej, a każdy element stypendium może być powiązany z siecią trwałych unikalnych identyfikatorów, problemy agregacji i szczegółowości stają się łatwiejsze do rozwiązania. Agregowanie informacji o dorobku konkretnego badacza staje się możliwe we wszystkich systemach przechowujących treści. Podobnie wszystkie treści publikowane przez wszystkich autorów w tej samej instytucji lub finansowane z określonego grantu można łatwiej i dokładniej wyodrębnić z dużych zbiorów. Nawet nietradycyjne treści lub nietradycyjne media mogą być łączone, a ich wykorzystanie może być agregowane, jeśli metadane powiązane z tymi obiektami zawierają trwałe identyfikatory. Nie było pracy przyspieszyć wykorzystanie cytowania do zbiorów danych, w szczególności prowadzonych przez ICSTI i CODATA, który ostatecznie przekształcił się w tzw Wspólne zasady cytowania danych. Przyjmowanie tych zasad jest w toku, ale można je rozszerzyć, aby objąć szereg innych nietradycyjnych wyników.
Nie ma wątpliwości, że trend w kierunku większego zainteresowania i stosowania metryk w ocenianiu naukowym będzie nadal przyspieszał. Po prostu istnieje zbyt duże zapotrzebowanie na uzasadnienie inwestycji dokonywanych w badaniach lub edukacji ze strony sponsorów, administratorów, ustawodawców i podatników. Naukowcy i ich instytucje powinni być zainteresowani jak najsolidniejszymi miarami wpływu i leżącymi u ich podstaw systemami, aby zapewnić, że wszystkie należne im zasługi zostaną odpowiednio przypisane i policzone.
Podejmowanie działań w środowisku naukowym
To rozszerzone zainteresowanie metrykami jest jednym z powodów, dla których NISO podjęła się tego zadania projekt mający na celu ustanowienie standardów i najlepszych praktyk związanych z nowymi formami oceniania. Projekt ten, dofinansowany z grantu im Alfred P. Sloan Foundation, dąży do wypracowania konsensusu wokół definicji Altmetrics, przypadków użycia, podejść do oceny nietradycyjnych wyników naukowych, infrastruktury technicznej do wymiany danych Altmetrics oraz przyjęcia trwałych identyfikatorów. Tworzą się obecnie grupy robocze zajmujące się tymi pięcioma tematami.
Naukowcy mogą przyczynić się do wspierania tego środowiska, rejestrując się w serwisie ORCID, używając ich ID na wszystkich tworzonych przez siebie treściach i nalegają, aby wydawcy lub repozytoria gromadziły i publikowały identyfikatory artykułów i innych zasobów naukowych. Wspólnie możemy pracować na rzecz interoperacyjności, wymiany danych, ważności i zaufania, ale najpierw dane muszą być dostępne, aby mogły zostać zebrane. To zaczyna się od nas wszystkich: badaczy, sponsorów, uniwersytetów i wydawców. jeśli ID nie są przesyłane ani gromadzone, danych nie można zagregować ani ujednoznacznić, a wpływu naszej pracy nie można śledzić ani analizować. W twoim interesie jako autora leży, aby autoryzował cię.