Połączenia THOR zespół ciężko pracuje, pomagając wytyczyć drogę do trwałych usług trwałego identyfikatora (PID), w tym ORCID identyfikatory. Podobnie jak w przypadku każdego długoterminowego celu, odrobina autorefleksji jest pomocna w śledzeniu postępów, rozważaniu sukcesów i pobudzaniu się do stawiania czoła wyzwaniom po drodze. W przypadku projektu takiego jak THOR możemy wspomóc autorefleksję, opracowując strukturę, która pomoże nam właściwie mierzyć nasz sukces na bieżąco. Ale często jest to trudniejsze niż myślisz.
W początkach usług PID można było zajmować się wyłącznie rozpowszechnieniem, ponieważ priorytetem było rozpowszechnienie informacji. Chociaż wciąż mamy tam trochę pracy do wykonania, usługi PID dojrzały do tego stopnia, że nie możemy już zadowalać się wyłącznie „podnoszeniem liczb”. Musimy dostosować nasze komunikaty, aby napędzać dalsze innowacje w kierunku interoperacyjnej przyszłości, o której marzą THOR i nasi partnerzy. Lepsze informacje o motywacjach leżących u podstaw przyjęcia PID oraz o tym, kto może być na to gotowy, pomogą nam stymulować tworzenie usług, które ulepszą cały system. Aby kontynuować tę ciepłą i przyjazną misję, potrzebujemy twardych faktów. Jak więc znaleźć te fakty? I jak zamienić je w coś pożytecznego i, szczerze mówiąc, nieco mniej kłującego?
Co można zmierzyć?
Pierwszym krokiem w ocenie naszych postępów było wyznaczenie celów, które są wykonalne i mierzalne. Choć kuszące jest wyznaczanie ścisłych celów wydajnościowych, jest to po prostu narażanie się na porażkę. Jeśli definiujesz sukces jako sprzedaż 50 widżetów, a sprzedajesz tylko 48, to według twojej własnej definicji poniosłeś porażkę. W przypadku THOR naszym głównym celem jest poprawa infrastruktury, dlatego bardziej interesują nas obserwowalne trendy niż konkretne cele. Pomocne jest tutaj opracowanie kluczowych wskaźników wydajności (KPI). Pamiętaj, że wskaźnik to tylko sposób na uwzględnienie trendów (np. „liczba sprzedanych widżetów”) i sam w sobie nie jest celem (np. 50 widżetów).
Jak należy to mierzyć? (Z jakimi wskaźnikami?)
Kolejnym krokiem było ustalenie, jak mierzyć to, co chcemy mierzyć. Celem jest wybór wskaźników, które są zarówno wartościowe, jak i znaczące. „Wartość” oznacza, że znajomość stanu wskaźnika pomoże nam w podjęciu decyzji. „Znaczący” oznacza, że rozumiemy, co faktycznie śledzi wskaźnik. Jeśli linia trendu związana z naszym wybranym wskaźnikiem pójdzie w górę, czy będziemy wiedzieć, co to dla nas oznacza i czy będziemy wiedzieć, jak zareagować?
Część trudności w doborze wskaźników w ten sposób polega na tym, że najbardziej znaczące i cenne dla ciebie informacje mogą nie być natychmiast dostępne. Kiedy THOR po raz pierwszy zaczął podążać ścieżką wskaźników, chcieliśmy po prostu łatwych do zebrania miar ilościowych; nie chcieliśmy podejmować żadnych skomplikowanych badań użytkowników. Jednak niektóre informacje, których chcieliśmy, nie były dostępne, ponieważ albo nie były śledzone regularnie, albo dlatego, że samodzielne ich gromadzenie byłoby procesem ręcznym, którego nie byliśmy jeszcze chętni.
Jak należy to mierzyć? (Narzędzie czy bez narzędzia?)
Gdy już wiesz, jakie są Twoje cele i które wskaźniki pomogą Ci śledzić postępy w ich realizacji, potrzebujesz wygodnego sposobu monitorowania tego wszystkiego. Fantazyjne narzędzia mogą nie być konieczne, w rzeczywistości przez większość czasu prawdopodobnie nie są, w zależności od tego, które wskaźniki są ważne dla twojego konkretnego smaku sukcesu. Chcieliśmy jednak zademonstrować niektóre możliwości posiadania miar PID gotowych do agregacji — i szczerze mówiąc, lubimy fantazję — więc opracowaliśmy tablica rozdzielcza żeby wszystko było w jednym miejscu. (Przeczytaj więcej o naszym procesie w naszym raport.) Stworzenie dashboardu było dobrym ćwiczeniem w ustaleniu, co można zmierzyć iw jaki sposób. Dało nam to również szansę zbadania, jakie mogą być znaczące wskaźniki. Na przykład widzimy, że wzrasta wykorzystanie PID i możemy zobaczyć pewne informacje o metadanych powiązanych z tymi PID, ale tak naprawdę nie daje nam to żadnego wglądu w związki przyczynowe ani nie informuje nas dokładnie, dlaczego to trend się dzieje, a nawet kto jest zaangażowany.
Ponieważ wszyscy zależy nam na znaczących danych, te przygody w pomiarach skłoniły zespół THOR do zidentyfikowania luk w dostępnych metrykach związanych z przyjęciem usługi PID i do rozważenia, jakie dodatkowe wskaźniki mogą być przydatne w przyszłej pracy w przestrzeni badawczej PID. Rozpoczęliśmy teraz bardziej szczegółową analizę luk, która doprowadzi do zbadania niektórych z tych brakujących miar. Ponieważ naszym celem jest promowanie wdrażania usług PID, zidentyfikowaliśmy zakres dyscyplinarny i dystrybucję geograficzną jako nasze najbardziej obiecujące tematy do realizacji. Zbieramy teraz dane potrzebne do analizy adopcji PID w X dyscyplinach i Y krajach – pełny raport będzie dostępny jeszcze w tym roku.
Idąc dalej
Czego więc nauczyliśmy się w trakcie tego procesu? Przede wszystkim nie wszystko jest tak konkretne, jak mogłoby się wydawać. Kiedy masz do czynienia z ludźmi i ludzkimi zachowaniami, sprawy stają się miękkie. Po drugie, ponieważ monitorujemy istniejące trendy tylko w oparciu o czynniki, których niekoniecznie kontrolujemy, niektóre dostępne nam informacje pozostaną po prostu „wystarczająco dobre”, dopóki inni nie będą mogli wykonać bardziej szczegółowej pracy w celu ulepszenia danych lub ich uzupełnienia. Naszym zadaniem w pozostałej części projektu THOR jest wskazanie, co byłoby najbardziej przydatne wiedzieć o interoperacyjności, aby można było to zbadać.
Dziedzina PID wciąż ewoluuje i czeka na nią duży wzrost i zmiany. Niektóre potencjalnie cenne informacje wymagają dalszych badań, aby je wydobyć. Nasze badanie wdrażania usług, rozpoczęte od analizy luk, pomoże nam rozpocząć te badania i mamy nadzieję zebrać przydatne informacje, które mogą przygotować grunt pod przyszłe prace. Będziemy również potrzebować pomocy szerszej społeczności użytkowników i integratorów PID, aby ulepszyć istniejące metadane i pomóc nam rozważyć znaczące wskaźniki.
Jak zawsze, jeśli masz pytania lub uwagi dotyczące THOR, proszę skontaktuj się z nami.