Projekt THOR tým tvrdě pracuje a pomáhá vybudovat cestu ke službám udržitelného trvalého identifikátoru (PID) - včetně ORCID iDs. Jako u každého dlouhodobého cíle, trocha sebereflexe je užitečná pro sledování vašeho pokroku, zvažování vašich úspěchů a psychizování se při řešení výzev na cestě. V případě projektu, jako je THOR, můžeme této sebereflexi pomoci spolu s vytvořením struktury, která nám pomůže správně měřit náš úspěch za pochodu. Ale to je často těžší, než byste si mohli myslet.
V počátcích služeb PID bylo v pořádku zabývat se pouze příjmem, protože prioritou bylo dostat se ke slovu. I když tam máme ještě nějakou práci, služby PID nyní dospěly do té míry, že se již nemůžeme spokojit pouze s prostým „získáváním čísel“. Musíme přizpůsobit naše zprávy, abychom mohli vést další inovace směrem k interoperabilní budoucnosti, o které THOR a naši partneři sní. Lepší informace o základních motivacích pro přijetí PID a o tom, kdo by na to mohl být připraven, nám pomůže řídit vytváření služeb, díky nimž bude celý systém lepší. K podpoře této vřelé a přátelské mise potřebujeme chladná tvrdá fakta. Jak tedy budeme hledat tato fakta? A jak z nich uděláme něco užitečného a, upřímně řečeno, trochu méně pichlavého?
Co lze měřit?
Prvním krokem při hodnocení našeho pokroku bylo stanovení cílů, které lze ovlivnit a měřit. Ačkoli je lákavé stanovit přísné výkonnostní cíle, je to jen nastavení pro selhání. Pokud definujete úspěch jako prodej 50 widgetů a prodáte pouze 48, pak jste podle své vlastní definice selhali. V případě společnosti THOR je naším hlavním cílem zlepšení infrastruktury, takže nás více než konkrétní cíle zajímají pozorovatelné trendy. Zde je užitečné vyvinout klíčové ukazatele výkonu (KPI). Pamatujte, že indikátor je pouze způsob, jak zohlednit trendy (např. „Počet prodaných widgetů“), a není sám cílem (např. 50 widgetů).
Jak by to mělo být měřeno? (S jakými ukazateli?)
Dalším krokem bylo určit, jak měřit to, co chceme měřit. Cílem je vybrat indikátory, které jsou cenné a smysluplné. „Cenné“ znamená, že znalost stavu indikátoru nám pomůže při rozhodování. „Smysluplný“ znamená, že rozumíme tomu, co indikátor ve skutečnosti sleduje. Pokud se trendová linie spojená s námi zvoleným indikátorem zvýší, budeme vědět, co to pro nás znamená, a budeme vědět, jak reagovat?
Část obtíží při výběru indikátorů tímto způsobem spočívá v tom, že nejsmysluplnější a nejcennější informace pro vás nemusí být okamžitě k dispozici. Když THOR poprvé vyrazil po cestě indikátorů, chtěli jsme jen snadno shromážděná kvantitativní opatření; nehledali jsme žádné složité uživatelské studie. Některé z informací, které jsme chtěli, však nebyly k dispozici, a to buď proto, že nebyly pravidelně sledovány, nebo proto, že bychom je sami shromáždili, byl by to ruční proces, do kterého jsme zatím nebyli ochotni přistoupit.
Jak by to mělo být měřeno? (Nástroj nebo žádný nástroj?)
Jakmile víte, jaké jsou vaše cíle a které ukazatele vám pomohou sledovat váš pokrok k těmto cílům, potřebujete pohodlný způsob, jak to všechno sledovat. Efektní nástroje nemusí být nutné, ve skutečnosti většinou nejsou, podle toho, které ukazatele jsou důležité pro vaši konkrétní příchuť úspěchu. Chtěli jsme však ukázat některé z možností mít agregovaná opatření PID - a pokud jsme upřímní, máme rádi fantazii - proto jsme vyvinuli přístrojová deska mít vše na jednom místě. (Přečtěte si více o našem postupu v našem zprávy.) Vytvoření řídicího panelu bylo dobrým cvičením při určování toho, co lze měřit a jak. Také nám to dalo příležitost prozkoumat, jaké smysluplné metriky mohou být. Například můžeme vidět, že příjem PID je na vzestupu, a můžeme vidět nějaké informace o metadatech, která jsou s těmi PID spojena, ale to nám ve skutečnosti neposkytuje žádný pohled na příčinné vztahy ani nás přesně neuvádí, proč to trend se děje, nebo dokonce přesně kdo je zapojen.
Protože nám jde o smysluplná data, vedla tato dobrodružství v měření k tomu, že tým THOR identifikoval mezery v dostupných metrikách kolem přijetí služby PID a zvážil, které další ukazatele by mohly být užitečné pro budoucí práci ve výzkumném prostoru PID. Nyní jsme se pustili do podrobnější analýzy mezer, která povede ke studiu některých z těchto chybějících opatření. Vzhledem k tomu, že naším cílem je podpořit přijetí služby PID, identifikovali jsme jako nejslibnější témata disciplinární pokrytí a geografickou distribuci. Nyní shromažďujeme data, která potřebujeme k analýze přijetí PID v X disciplínách a zemích Y - úplná zpráva bude k dispozici později v tomto roce.
kupředu
Co jsme se tedy během tohoto procesu naučili? V první řadě není vše tak konkrétní, jak byste si možná přáli. Když máte co do činění s lidmi a lidským chováním, věci se rozmačkají. Za druhé, protože sledujeme pouze existující trendy na základě faktorů, které nutně neovládáme, zůstanou některé informace, které máme k dispozici, pouze „dostatečně dobré“, dokud ostatní nebudou moci provést podrobnější práci buď na zlepšení dat, nebo na jejich doplnění. Naším úkolem ve zbývající části projektu THOR je poukázat na to, co by bylo nejužitečnější vědět o interoperabilitě, aby bylo možné ji studovat.
Pole PID se stále vyvíjí a čeká ho spousta růstu a změn. Některé potenciálně cenné informace vyžadují další studii. Naše studie přijetí služby, počínaje analýzou mezer, nám pomůže začít s tímto výzkumem a doufáme, že shromáždíme některé užitečné informace, které mohou připravit půdu pro budoucí práci. Budeme také potřebovat pomoc od širší komunity uživatelů a integrátorů PID při zlepšování stávajících metadat a při zvažování smysluplných metrik.
Jako vždy, pokud máte nějaké dotazy nebo komentáře ohledně THOR, prosím dostat do kontaktu.