Научные публикации стоят на пьедестале - общество рассматривает научные отчеты как наиболее близкое к Истине, что у нас есть. Сами ученые знают, что наука - это попытка на протяжении десятилетий прийти к интерпретации, которая измеряется и доказывает, что она наименее ошибочная. Истина где-то рядом, но мы можем только надеяться увидеть ее тень.
Тем не менее, я отчаянно надеюсь, что научные публикации продолжат стоять на своей возвышенной платформе. Без этого все общество будет представлять собой «справедливую и сбалансированную» какофонию Интернета, где каждый будет выбирать то шарлатанство и лженауку, которые лучше всего подходят для их конкретной кальцификации мнения.
Однако, хотя наука может стоять на пьедестале для публики, на самом деле это волшебная машина, управляемая редакторами и подпитываемая экспертным обзором - Chitty Chitty Bang Bang!
В меру своих возможностей редакторы и рецензенты должны установить, что то, что публикуется как наука, следует здравой методологии, чтобы это могло быть независимо проверено, и что представленные выводы обоснованно вытекают из использованных данных и анализа. Редакторы и рецензенты также должны установить, что то, что сообщается как наука, важно - стоит вашего времени и внимания как читателя.
В академическом сообществе наблюдается явный диссонанс: с одной стороны, опросы показывают, что среди ученых существует широкий консенсус в отношении того, что рецензирование является краеугольным камнем академических публикаций; с другой стороны, также широко распространено мнение, что экспертная оценка не выполняет то, что от нее ожидается, и иногда может вызвать проблемы. Способность традиционной системы коллегиальной оценки обеспечить то, что от нее сегодня ожидается, все чаще подвергается сомнению.
В духе Peer Review Week 2015, которая, помимо празднования экспертной оценки и признания значительного количества времени, которое исследователи тратят на нее, также дает возможность сообществу обсудить, что работает, а что нет, я хотел бы выделите некоторые проблемы - неприятные звуки из названия - и некоторые возможные решения.
Рецензирование и постепенное скатывание по лестнице престижа журнала по одному отказу за раз создают значительные задержка публикации. Помимо времени, потраченного на рассмотрение принятых материалов, ученые, возможно, тратят 15 миллионов часов каждый год проверять отклоненные заявки - это не потеря времени, потому что это означает, что фильтры работают (если коллегиальная проверка всегда приводила к принятию, это было бы ужасным провалом для системы), но во многих случаях отчеты можно использовать для поддержки положительное решение в другом журнале. Экспертная оценка открыта для риск предвзятости - не имеет значения, действительно ли национальность, престиж учреждения, пол, личные отношения или другие вопросы влияют на данное рецензирование и решение о публикации. Настоящий вопрос: может ли автор полностью полагаться на то, что они не повлияют на это? Требование рецензирования и погоня за пропущенными сроками стало для редакций бременем глупых размеров, отнимающим время от реального научного руководства целями и сферой деятельности журнала. И экспертная оценка открыта для риска откровенное мошенничество: за последний год десятки статей были отозваны из-за мошеннического рецензирования.
Но для меня самой значительной из этих проблем является подрыв доверия. Качество экспертной оценки просто слишком сильно различается без какой-либо эффективной оценки этого качества и процедур, которые позволили бы этим оценкам влиять на решения о публикации.
При нынешней системе у исследователя, пожалуй, мало стимулов вкладывать значительные затраты времени, все свое внимание и знания на выполнение задачи экспертной оценки. Я считаю, что отсутствие признания экспертной оценки - и время, которое на это требуется - означает, что многие ученые довольствуются тем, что делают это быстро, а не осторожно. Однако хорошая или плохая рецензия может буквально решить судьбу всей карьеры молодого исследователя. Сколько талантливых молодых людей потеряла наука просто из-за того, что поспешная и неосторожная рецензия помешала публикации важной рукописи непосредственно перед крайним сроком выдачи грантов, что побудило их отказаться?
Это как бы потеряло меня. Но я все еще люблю Chitty Chitty Bang Bang.
Отсюда моя новая работа: строительство нефтеперерабатывающего завода по производству высокооктанового топлива.
At Пэрство науки мы применяем двусторонний подход к улучшению экспертной оценки (ни одна из которых не является частной собственностью, поэтому ничто не мешает журналам, которые не используют Peerage of Science, реализовывать их самостоятельно.
Во-первых, открытое участие - до тех пор, пока ваша личность и квалификация подтверждены надежным внешним источником и вы не связаны с авторами через учреждение или недавнее соавторство, вы можете привлекаться к экспертной оценке любой рукописи. Редакторы могут рекомендовать рецензентов, но не обладают исключительным правом на это - любой коллега, включая авторов, может рекомендовать кого угодно. Во-вторых, сами обзоры рецензируются («рецензирование-рецензирование»). Это создает очень эффективное социальное давление на исследователей, чтобы они тратили больше времени и усилий на тщательное рецензирование. Кроме того, стандартный подход к анонимности в Peerage of Science является тройным слепым, что означает, что аргументы каждого - авторов, рецензентов, редакторов - должны основываться на их научных достоинствах, на которые как можно меньше влияют предубеждения против или в пользу личных факторов. Однако, хотя это значение по умолчанию, а не конкретное представление, Peerage of Science позволяет автору выбирать.
Как членская организация ORCID, Peerage of Science также надеется поддержать новые стандартизированные, цитируемые и разрешаемые записи для рецензирования работы в ORCID профили. Важно, чтобы работа коллегиального обзора получала признание с учетом качества работы, а наличие авторитетной записи, связанной с результатами перекрестной оценки и обратной связью, является многообещающим способом сделать это.
Многие другие организации, как и мы, работают над улучшением системы рецензирования, будь то облегчение признания работы рецензентов, экспериментирование с новыми формами рецензирования, поиск способов повторного использования рецензий отклоненных работ и т. Д. Итак, при праздновании Недели экспертных оценок - сейчас и в будущем - давайте все попробуем провести экспертную оценку чего-то, что оправдывает пьедестал и поддерживает Chitty Chitty Bang Bang в воздухе 52 недели в году.
[Подпись к изображению: Читти Читти Банг Банг. Граф Луи Зборовски с Chitty Bang Bang 1 в Бруклендс, 1921 год. Изображение, являющееся общественным достоянием, через Википедию.]