В ознаменование Недели экспертных оценок представители ORCID, ScienceOpen, Sense About Science и Wiley собрались вместе (виртуально), чтобы обсудить, почему экспертная оценка важна - для них и их организаций - и чего они надеются достичь на этой неделе.
Большое спасибо участникам Стефани Доусон (генеральный директор, ScienceOpen), Крису Графу (новому бизнес-директору, профессиональные инновации для ассоциаций и обществ, Wiley), Питеру Грегори (главному редактору Advanced Materials, вице-президенту и издательскому директору Wiley), Лоре Хак. (Исполнительный директор, ORCID), Эмили Джеспер (помощник директора, Sense about Science)
(слева направо: Стефани Доусон, Крис Граф, Питер Грегори, Лор Хаак, Эмили Джеспер)
Стефани Доусон (SD): Когда я начинал в качестве журнального менеджера в издательстве De Gruyter, я обычно получал по три копии каждой рукописи, которые я складывал в конверты и отправлял в Японию или Аргентину по почте, надеясь, что выбранный рецензент найдет время для рецензирования. С тех пор многое изменилось, но мало что изменилось. Некоторые рецензенты очень добросовестно помогали авторам улучшать свои статьи, другие присылали отказ в трех строках. Я действительно воочию убедился, насколько неоднородным может быть этот процесс, и хотел бы лично поблагодарить каждого рецензента, который приложил усилия, чтобы действительно помочь своим коллегам.
В сети научных исследований и публикаций ScienceOpen одна из наших отличительных ролей, помимо издателя с золотым открытым доступом (OA) и агрегатора контента, - это реформатор экспертной оценки. Наша цель - повысить доверие к процессу экспертной оценки, сделав его полностью прозрачным. Тогда каждый сможет увидеть (и даже поблагодарить) тех рецензентов, которые проделывают исключительную работу по повышению качества научного общения.
Мы развернули новый рабочий процесс, чтобы продемонстрировать эффективность другого подхода к рецензированию и его пригодность для цифрового будущего научного общения, которое, по нашему мнению, потребует ускорения и включения публикации гораздо большего количества цифровых объектов, чем текущая отдельная статья. Блок.
Крис Граф (CG): Говоря о новых рабочих процессах, меня лично интересует, как совместное рецензирование до и после публикации может улучшить систему.
Рецензирование перед публикацией подтверждает и организует исследования, и в основном это очень хорошо. Но - давайте будем честными - иногда делает это совершенно неправильно. И вот здесь на помощь приходит рецензирование после публикации.
Рецензирование после публикации может помочь контекстуализировать, курировать и - что интересно для меня - возможно, также дает более доступную точку входа для читателей (например, комментарии в PubPeer, PubMed Commons, показатели и многое другое в Kudos, обеспечивают руководство для читателей и помогают статьи). И - да - рецензирование после публикации устраняет случайное плохое яблоко. Что важно.
Наконец, нам нужно остановиться и подумать - и провести публичное обсуждение - о том, следует ли рассматривать рецензируемую статью как абсолютную, окончательную, окончательную и на 100% правильную только потому, что она рецензируется. Может быть, было бы более реалистично думать о рецензируемой статье как об одном шаге в (довольно извилистом) исследовательском путешествии, на котором мы можем ожидать, что сделаем ошибки, сделаем неправильные повороты, споткнемся и выберем новые направления, прежде чем достигнем нашего конечного пункта назначения: Ответ. Этот путь составляет много шагов, и многие исследования дают доказательства, которые мы используем для информирования практики и политики.
Лауре Хаак (левая): Я полностью согласен с вашим последним тезисом, но с точки зрения валидации, действительно ли это то, что делает экспертная оценка? Предполагается, что это фильтр, который говорит, что в этой статье использовалась правильная методология и статистика (в случае научной статьи), или мы действительно ищем рецензента, чтобы оценить логический ход статьи? В конце концов, кто несет ответственность, если документ будет признан «поддельным»? Можем ли мы действительно ожидать / хотим ли мы, чтобы этот вес был на рецензенте?
Эмили Джеспер (EJ): И что касается точки зрения Криса о роли экспертной оценки в информировании практики и политики, конечно, экспертная оценка имеет значение не только для научных исследователей. Поскольку это указывает на то, что исследования были тщательно изучены независимыми экспертами в данной области, экспертная оценка является важным фактором для политиков, журналистов и общественности при взвешивании заявлений об исследованиях и дебатов о науке. Понимание статуса исследовательских требований расширяет возможности. Это помогает нам взвешивать утверждения и использовать доказательства для принятия решений. С момента создания Sense About Science в 2002 году мы работали над более широкой популяризацией понимания экспертной оценки. Наше общедоступное руководство по экспертной оценке «Я не знаю, во что верить» побуждает людей задавать вопросы: «Рецензируется ли она?» при взвешивании утверждений о науке.
Питер Грегори (ПСЖ): Хотя вы правы, рецензирование имеет более широкое значение, оно важно для Wiley прежде всего потому, что оно имеет значение для научного сообщества, которому мы служим. Помимо сбора мнений и улучшения материалов экспертная оценка также обеспечивает, особенно в области науки и медицины, предохранительный клапан, предотвращающий распространение неправильных или даже опасных ошибочных статей.
LH: Да, экспертная оценка - это ключевой компонент научной практики. Это установленный набор методов для сбора комментариев к научным работам (статьям, книгам, грантам, программам и т. Д.) От коллег - экспертов в данной области - с конечной целью улучшения работы. ORCID заинтересован в рецензировании, потому что в нем участвуют люди, как создатели работ, так и рецензенты. Мы работаем с сообществом над разработкой цифровых методов признания вклада рецензентов путем цитирования их деятельности. Этим мы надеемся побудить ученых участвовать в качестве рецензентов, а также поддержать тех, кто работает над вопросами доверия в процессе рецензирования.
SD: Мне нравится идея сделать ORCID место, где исследователи могут регистрировать свои действия по рецензированию. ScienceOpen пытается решить эту проблему с помощью открытых обзоров, имеющих зарегистрированный CrossRef DOI. Publons также хорошо справляется с этой задачей, а также поддерживает рецензентов в журналах для слепой рецензирования. В случаях слепого обзора они проверяют с издателями, что рецензент действительно выполнил работу, о которой они заявляют - прямо сейчас исследователю было бы легко добавить «обзор для Nature and Cell» в свое резюме, потому что нет возможности проверить это в нашей текущей системе слепого обзора. Опять же, доверие и прозрачность являются ключевыми.
PSG: Я надеюсь, что эта неделя рецензирования поможет активизировать обсуждение рецензирования и начнет информировать участников (издателей, авторов, редакторов, рецензентов, спонсоров и т. Д.) О различиях в способах применения рецензирования и их полезности в разных сообществах. Некоторые области собирают мнения, некоторые больше основаны на фактах; некоторые извлекают выгоду из распространения препринтов (я имею в виду до рецензирования и публикации), некоторым это причиняет ущерб; для кого-то рецензия на публикацию нова, для кого-то опасна. Это подводит меня к выводу, что те, кто работает над улучшением / изменением экспертной оценки, должны внимательно учитывать, что один размер не подходит всем.
SD: Я согласен с тем, что не будет универсального решения, но разные сообщества также могут учиться друг у друга, особенно потому, что их объединяет рост междисциплинарных исследований. Отличным примером является сервер препринтов для наук о жизни BioRxiv, который основывается на положительном опыте сообщества физиков в области препринтов с arXiv. В новой области биоинформатики ученые-информатики просто поместили свои препринты на arXiv, а исследователи, пришедшие в большей степени из наук о жизни, спросили: «Что это?» Так что кое-что действительно интересное, что я рос как раз в эти моменты трения. Кроме того, новая тенденция к созданию мегажурналов, таких как PLoS One, SpringerOpen, Scientific Reports, требует переосмысления экспертной оценки, чтобы соответствовать широкому кругу сообществ, и все эти журналы свелись к тому, чтобы рецензенты просто проверяли научную обоснованность результатов. Так что это может дать нам некоторые ключи к пониманию того, что может продвигать общий знаменатель экспертной оценки.
LH: Идея общего знаменателя является действительно ключевой, и я надеюсь, что это именно та дискуссия, которую, как я надеюсь, вызовет неделя коллегиального обзора - стимулирование и концентрация текущего разговора на экспертной оценке и, таким образом, выявление того, что делается на практике для поддержки улучшений. .
SD: С точки зрения ScienceOpen, на этой неделе экспертных оценок мы хотим задать простой вопрос. По мере роста и разнообразия результатов исследований (наборы данных, отрицательные результаты, отчеты о случаях, препринты, плакаты…), сможет ли исследовательское сообщество провести экспертную оценку всех этих объектов перед публикацией? Мы думаем, что нет. Не хватает времени днем, денег, чтобы заплатить за это, или даже желания заниматься этим сейчас. Будут ли эти результаты все-таки полезны? Безусловно, если у нас есть мощный способ найти и отфильтровать их на основе параметров, которые читатели сочтут полезными, а авторов - полезными. Например:
- Что мои коллеги думают об этой информации?
- Есть ли к нему обновления?
- Какое влияние это произвело на мир и кто это заметил?
- Какие работы стоит выделить в той или иной области?
- Сколько раз его цитировали и где?
- Если я потратил время на его рассмотрение, можно ли найти и процитировать мой вклад?
- Улучшат ли эти усилия мои карьерные перспективы?
- Сколько раз его цитировали и где?
Ни на один из этих актуальных вопросов не повлияла эволюция от слепого или двойного слепого анонимного рецензирования, за исключением скорости, с которой мы можем на них ответить. Прозрачные процессы и простые веб-инструменты могут фильтровать быстрее, лучше и дешевле, чем когда-либо могли делать журналы и рецензирование перед публикацией.
Вот почему в ScienceOpen мы разработали системы для постпубликационной экспертной оценки; Управление версиями; Распределение DOI; Показатели статьи; Коллекции; Открытая информация о цитировании и многое другое - чтобы продемонстрировать другой (и мы бы предпочли) путь вперед.
LH: Я не уверен, что согласен с тем, что экспертная оценка неустойчива. Я думаю, что если мы, сообщество, дадим рекомендации относительно того, что означает экспертная оценка определенных типов контента, то мы, возможно, продвинемся на пути к поддержке обзора более широкого набора результатов. Нам нужно ответить на такие вопросы, как: кто отвечает за контент? Какова роль автора / советника / работодателя / редактора / рецензента? Это фундаментально. Некоторое из этого «нового» контента, например наборы данных, может потребовать от проверяющего проверить, являются ли метаданные достаточно описательными и учитываются ли депонирование / доступ / долгосрочное сохранение данных в соответствии с планом управления данными. И хотя мне нравятся ваши предложения по поиску и фильтрации результатов исследований, все это не имеет значения, если (например) набор данных находится на панели данных в чьем-то ящике. Рецензент может быть важным компонентом обеспечения сохранения наборов данных и постоянного описания пути доступа, чтобы его можно было цитировать. То же самое и с другими типами выходов.
SD: Есть много издателей и организаций, которые переосмысливают то, что на самом деле должно выполнять рецензирование, и создают новые службы для поддержки этого - иногда даже слишком много, с точки зрения ученого, который может чувствовать себя подавленным новыми определениями и выбором. Я также считаю, что во время этой Недели экспертной оценки важно продемонстрировать, как инновации в этой области действительно созданы для поддержки рецензентов и той фантастической работы, которую они делают. Поэтому я надеюсь, что на этой неделе мы увидим признание новых моделей экспертной оценки, которые существуют сегодня и демонстрируются небольшими начинающими организациями, такими как ScienceOpen и The Winnower, и другими, такими как F1000Research и PeerJ. И эти дискуссии о Peer Review уже вышли за рамки интересных разговоров между академиками и вовлекли разработчиков программного обеспечения и издателей, работающих в основном в коммерческих организациях, которые умеют делать инновации реальностью.
Тем не менее, остается открытым вопрос: «Может ли научное сообщество воспользоваться этими новыми возможностями, потому что то, где публикует исследователь, все еще связано с влиянием результатов исследований на карьерный рост?». Преодолеть влияние импакт-фактора - нелегкая задача. Но любая новая система должна будет соответствовать критериям доверия и прозрачности.
LH: Не думаю, что дело в импакт-факторе. Я думаю, что цель этой недели - охватить экспертную оценку во всем ее разнообразии и поработать над пониманием ее основной функции в научном дискурсе. Для Криса выше, экспертная оценка - это часть пути. Разные дисциплины, разные темы выиграют от разных вкусов, и все они хороши. Давайте сосредоточимся на самом процессе, а не столько на контейнере (например, платформе журнала / службы).
EJ: И давайте также не забывать, что общественность должна знать о рецензировании, и поэтому ученые и издатели должны говорить об этом. Неделя коллегиального обзора - прекрасная возможность для исследователей остановиться и подумать о более широкой роли, которую рецензирование играет в обществе в поддержании качества науки, и поделиться этим более широко. Я особенно надеюсь, что мы узнаем от начинающих исследователей о том, почему экспертная оценка важна для них, и еще больше признаем эту жизненно важную, добровольную роль, которую играют исследователи. Это также даст исследователям возможность услышать о фантастических ресурсах, семинарах и возможностях обучения, доступных при экспертной оценке.