Независимо от того, кто анализирует данные для оценки научного воздействия, будь то грантополучатель, администратор университета, рецензент или библиотекарь, работающий над созданием коллекций, каждый человек сталкивается с одинаковыми проблемами при отборе и сборе данных. Им особенно мешают проблемы детализации и агрегации данных. Чтобы компенсировать это, исследовательское сообщество долгое время полагалось на показатели качества для целей оценки, такие как импакт-фактор журнала, в котором публикуется статья. Те, кто стремится рассмотреть влияние того или иного конкретного предмета или набора стипендий, должны иметь возможность «настроить» системы сбора данных, чтобы иметь возможность вычислять наиболее интересные показатели. Использование постоянных идентификаторов, таких как ORCIDs и DOI могут поддерживать такую настройку.
В наши дни традиционная стипендия доступна в различных формах и в Интернете. В наиболее традиционной модели публикации окончательная опубликованная статья может быть доступна как в журнале, так и на веб-сайте издателя. Помимо зеркальных сайтов, которые издатель может сделать доступным по всему миру, многие издатели переводят свой контент в службы архивации, такие как JSTOR, а также может иметь вторичные партнерские отношения по распространению со службами полнотекстовой агрегации, такими как EBSCOHОбщий академический поиск or Академический файл Гейла. Чтобы усложнить эту картину, другие источники документов также включают препринты, хранящиеся в локальных репозиториях, общие копии или даже неавторизованные копии, использование которых в настоящее время сложно или невозможно собрать.
Кроме того, эта традиционная модель научного общения строго ориентирована на статьи и не включает в себя научные результаты, которые многие исследователи в настоящее время создают и распространяют, такие как данные, программный код или блоги. Модель также не включает различные формы взаимодействия через системы цитирования, социальные сети или повторное использование, которые могли бы предоставить значимые аналитические данные. Наконец, этот традиционный процесс не включает ценное применение материалов через интеграцию в электронные курсы, включение в заявки, принятие сообществом, патентные заявки или использование в законодательных процессах - все это можно рассматривать как компонент общего воздействия. .
Проблема детализации
Что касается детализации, кто не сталкивался с проблемой, когда то, что вам нужно, недоступно на желаемом уровне? Вы хотели бы приобрести один товар, но он доступен только в оптовой упаковке. Вам может понадобиться один кабельный канал, но вы должны подписаться на весь уровень кабельных услуг. Точно так же в научных коммуникациях информация об оценке слишком долго предоставлялась только на уровне журнала или на уровне организации. Однако, помимо оценки библиотечных коллекций, чаще всего люди, заинтересованные в оценке воздействия, хотят знать результаты работы конкретного исследователя, влияние конкретных усилий, описанных в отдельной статье, или успех конкретного проекта, финансируемого за счет гранта.
Чтобы извлечь значимые элементы из целого, каждый элемент ценности должен быть однозначно идентифицирован. До этого столетия идентификаторы традиционно присваивались на уровне «пакета», например ISSN для журнала или ISBN для книги. В 2000 году мы увидели первую реализацию Идентификатор цифрового объекта (DOI®), которые быстро стали использоваться для идентификации отдельных научных статей. До запуска ORCID, не существовало общепринятого механизма для однозначной идентификации авторов статей или исследователей. Доступность и использование этих идентификаторов проложили путь для инструментов и сервисов оценки для сбора данных на гораздо более детальном уровне.
Агрегация данных
Вторая проблема возникает из-за необходимости агрегировать эти более детализированные уровни данных. Даже если бы существовала готовность обмениваться данными между поставщиками (что само по себе является большой проблемой) и существовал простой стандартизированный формат для агрегирования этих данных (еще одна значительная проблема), как можно быть уверенным в том, что аналитик извлечет всю и только соответствующую информацию, имеющую отношение к делу? рассматриваемому исследователю? Агрегация воздействия на уровне публикации служит издателям и библиотекам и может быть показателем качества, но в лучшем случае это несовершенная мера для составляющих статей, которая необходима для оценки конкретного исследователя / автора. Многие инициативы по метрикам следующего поколения, такие как ПИРУС, ВоздействиеИстория, Altmetric.com, и Сливовая аналитика сильно зависят от использования таких идентификаторов, как DOI и ORCID чтобы точно агрегировать свои данные.
Связывание стипендии с сетью постоянных идентификаторов
As ORCID, ДОИ, институциональные идентификаторыкачества FundRef приняты во всем научном сообществе, и каждый предмет исследования может быть связан вместе с сетью постоянных уникальных идентификаторов, проблемы агрегирования и детализации становятся более решаемыми. Агрегирование информации о результатах конкретного исследователя становится возможным во всех системах, поддерживающих контент. Точно так же весь контент, опубликованный всеми авторами в одном учреждении или финансируемый конкретным грантом, можно легче и точнее извлечь из больших коллекций. Даже нетрадиционный контент или нетрадиционные носители могут быть связаны и их использование агрегировано, если метаданные, связанные с этими объектами, содержат постоянные идентификаторы. Была работа, чтобы продвигать использование цитирования к наборам данных, в частности, под руководством МЦНТИ и CODATAкоторый в конечном итоге превратился в Совместные принципы цитирования данных. Принятие этих принципов продолжается, но его можно расширить, чтобы охватить ряд других нетрадиционных результатов.
Нет никаких сомнений в том, что тенденция к большему интересу и применению показателей в академической оценке будет и дальше ускоряться. Просто существует слишком большой спрос на оправдание инвестиций, сделанных в исследования или образование, со стороны спонсоров, администраторов, законодателей и налогоплательщиков. Исследователи и их учреждения должны быть заинтересованы в том, чтобы показатели воздействия и лежащие в их основе системы были как можно более надежными, чтобы гарантировать, что все причитающиеся им оценки должным образом приписываются и подсчитываются.
Действия в исследовательском сообществе
Этот возросший интерес к метрикам - одна из причин, по которой NISO предприняла проект по установлению стандартов и лучших практик, связанных с новыми формами оценки. Этот проект поддержан грантом Фонд Альфреда П. Слоана, стремится достичь консенсуса в отношении определений альтметрик, сценариев использования, подходов к оценке нетрадиционных научных результатов, технической инфраструктуры для обмена данными альтметрик и принятия постоянных идентификаторов. Сейчас формируются рабочие группы по этим пяти темам.
Исследователи могут внести свой вклад в развитие этой среды, зарегистрировавшись в ORCID, используя их ID на весь производимый ими контент и настаивают на том, чтобы издатели или репозитории собирали и публиковали идентификаторы статей и других научных ресурсов. Мы все вместе можем работать над совместимостью, обменом данными, достоверностью и доверием, но сначала данные должны быть доступны для сбора. Это начинается со всех нас: исследователей, спонсоров, университетов и издателей. Если ID не отправляются и не собираются, данные не могут быть агрегированы или устранены, а влияние нашей работы не может быть отслежено и проанализировано. В ваших интересах как автора, чтобы кредит был возвращен вам.