Ассоциация THOR команда усердно работает, помогая проложить путь к устойчивым сервисам постоянных идентификаторов (PID), включая ORCID IDs. Как и в случае с любой долгосрочной целью, немного саморефлексии полезен для отслеживания вашего прогресса, рассмотрения ваших успехов и психологической подготовки к решению проблем на этом пути. В случае с таким проектом, как THOR, мы можем помочь в этом саморефлексии, разработав структуру, которая поможет нам правильно измерять наш успех по мере продвижения. Но это часто бывает сложнее, чем вы думаете.
На заре PID-сервисов было нормально заботиться только о внедрении, поскольку приоритетом было сообщить о случившемся. Хотя у нас еще есть над чем поработать, услуги PID достигли такой степени, что мы больше не можем довольствоваться одним лишь «повышением показателей». Нам необходимо адаптировать наши сообщения, чтобы стимулировать дальнейшие инновации в направлении интероперабельного будущего, о котором мечтают THOR и наши партнеры. Наличие более полной информации о мотивах, лежащих в основе принятия PID, и о том, кто может быть готов к этому, поможет нам стимулировать создание сервисов, которые сделают всю систему лучше. Чтобы продолжить эту теплую и дружескую миссию, нам нужны неопровержимые факты. Так как же нам найти эти факты? И как превратить их во что-то полезное и, откровенно говоря, менее колючее?
Что можно измерить?
Первым шагом в оценке нашего прогресса была постановка задач, которые можно было бы реализовать и измерить. Хотя заманчиво устанавливать строгие целевые показатели производительности, это просто настраивает вас на провал. Если вы определяете успех как продажу 50 виджетов, а продаете только 48, то, по вашему собственному определению, вы потерпели неудачу. В случае с THOR нашей основной целью является улучшение инфраструктуры, поэтому нас больше интересуют наблюдаемые тенденции, а не конкретные цели. Здесь может помочь разработка ключевых показателей эффективности (KPI). Помните, что индикатор - это всего лишь способ учитывать тенденции (например, «количество проданных виджетов»), и сам по себе он не является целью (например, 50 виджетов).
Как его измерять? (С какими индикаторами?)
Следующим шагом было определить, как измерить то, что мы хотим измерить. Здесь цель состоит в том, чтобы выбрать индикаторы, которые не только значимы, но и ценны. «Ценный» означает, что знание статуса индикатора поможет нам принять решение. «Значимый» означает, что мы понимаем, что на самом деле отслеживает индикатор. Если линия тренда, связанная с выбранным нами индикатором, пойдет вверх, узнаем ли мы, что это значит для нас, и будем ли мы знать, как реагировать?
Отчасти сложность выбора индикаторов таким образом заключается в том, что наиболее значимая и ценная информация для вас может быть недоступна сразу. Когда THOR только начинал движение по индикаторной траектории, мы просто хотели легко собирать количественные показатели; мы не собирались проводить какие-либо сложные исследования пользователей. Однако некоторая информация, которую мы хотели, была недоступна, либо потому, что она не отслеживалась на регулярной основе, либо потому, что сбор ее самим был бы ручным процессом, которым мы еще не хотели заниматься.
Как его измерять? (Инструмент или нет инструмента?)
Как только вы узнаете, каковы ваши цели и какие индикаторы помогут вам отслеживать ваш прогресс в достижении этих целей, вам понадобится удобный способ отслеживать все это. Необычные инструменты могут не понадобиться, на самом деле в большинстве случаев они, вероятно, не нужны, в зависимости от того, какие показатели важны для вашего конкретного вкуса успеха. Но мы хотели продемонстрировать некоторые возможности наличия готовых к агрегированию показателей PID - и, если честно, нам нравятся фантазии - поэтому мы разработали приборная панель чтобы все было в одном месте. (Узнайте больше о нашем процессе в нашем отчету.) Создание информационной панели было хорошим упражнением в определении того, что и как можно измерить. Это также дало нам возможность изучить, какие могут быть значимые метрики. Например, мы можем видеть, что использование PID растет, и мы можем видеть некоторую информацию о метаданных, связанных с этими PID, но на самом деле это не дает нам никакого представления о причинно-следственных связях и не позволяет нам точно знать, почему это тенденция происходит или даже кто именно участвует.
Поскольку мы все делаем значимые данные, эти приключения в измерениях привели команду THOR к выявлению пробелов в доступных метриках, связанных с внедрением PID-сервисов, и к рассмотрению того, какие дополнительные индикаторы могут быть полезны для будущей работы в области исследований PID. Теперь мы приступили к более подробному анализу пробелов, который приведет к изучению некоторых из этих недостающих мер. Поскольку наша цель - способствовать внедрению PID-сервисов, мы определили дисциплинарный охват и географическое распределение как наши самые многообещающие темы для развития. Сейчас мы собираем данные, необходимые для анализа внедрения PID в X дисциплинах и Y странах - полный отчет будет доступен позже в этом году.
Перемещение вперед
Итак, что мы узнали в ходе этого процесса? Прежде всего, не все так конкретно, как вам хотелось бы. Когда вы имеете дело с людьми и человеческим поведением, все становится мягко. Во-вторых, поскольку мы отслеживаем только существующие тенденции на основе факторов, которые мы не обязательно контролируем, некоторая доступная нам информация будет оставаться «достаточно хорошей» до тех пор, пока другие не смогут выполнить более детальную работу, чтобы улучшить данные или конкретизировать их. Наша задача до конца проекта THOR - указать, что было бы наиболее полезно знать о совместимости, чтобы ее можно было изучить.
Область PID все еще развивается, и ее ожидает большой рост и изменения. Некоторая потенциально ценная информация требует дальнейшего изучения. Наше исследование внедрения сервиса, начинающееся с анализа пробелов, поможет нам начать это исследование, и мы надеемся собрать некоторую полезную информацию, которая может заложить основу для будущей работы. Нам также понадобится помощь более широкого сообщества пользователей PID и интеграторов, чтобы улучшить существующие метаданные и помочь нам рассмотреть значимые метрики.
Как всегда, если у вас есть вопросы или комментарии по поводу THOR, пожалуйста Связаться.