Vzájemné hodnocení je ústředním bodem mnoha klíčových pracovních toků výzkumu: publikace, žádosti o granty, aplikace na propagaci a držbu, příspěvky na konference a další. To nás těší ORCID člen Královská společnost Te Apārangi plánuje použít ORCID rozpoznat službu vzájemného hodnocení pro Fond Marsden paneloví recenzenti. Zjistěte více o jejich pokroku v tomto rozhovoru s Jasonem Gushem, jejich programovým manažerem pro Insights & Evaluation, a sledujte další aktualizace v nadcházejících měsících.
Za prvé, můžete nám prosím říci něco o Královské společnosti Te Apārangi a fondu Marsden a o vaší současné integraci ORCID přes Nový Zéland ORCID Rozbočovač?
Královská společnost Te Apārangi je 150 let stará nevládní organizace zmocněná podle zákona o Parlamentu a zodpovědná za podporu a povzbuzování stipendia ve vědách a humanitních oborech a za povzbuzení jejich uznání a povědomí na novozélandské veřejnosti. V rámci těchto povinností jsme sídlem národní akademie Nového Zélandu, distribuujeme medaile a ceny za vynikající výsledky v oblasti výzkumu, spravujeme tituly časopisu New Zealand Journal a působíme jako správce fondů pro vládu a provádíme řadu propagačních akcí. , vzdělávání a odborné poradenské činnosti.
Marsden Fund je největší z fondů, které spravujeme, a funguje 24 let. Nyní je poněkud nový, protože je zcela určen pro výzkum iniciovaný vyšetřovatelem a pokrývá celou škálu výzkumů od humanitních věd přes sociální vědy, biologické vědy, fyzikální vědy až po matematiku a informační vědy. S ročním kolem financování a mírou úspěšnosti obvykle kolem 10%je získání grantu Marsden považováno za nositel spravedlivé míry prestiže.
Společnost měla to potěšení být vedoucí agenturou pro Nový Zéland ORCID Konsorcium od zahájení konsorcia v roce 2016. S podporou naší vlády je konsorcium ORCIDje organizačně nejrozmanitější a má za cíl zastupovat všechny novozélandské veřejně financované výzkumné pracovníky. Konsorcium také podpořilo rozvoj Nového Zélandu ORCID Hub umožňující interakci s našimi různými členy ORCID. Hub je webová aplikace s jednoduchým uživatelským rozhraním, které umožňuje organizacím číst a zapisovat do nich ORCID záznamy se svolením držitele záznamu. V současné době používáme Hub k prosazování vztahů s našimi zaměstnanci, financování pro držitele grantů a právě jsme začali zkoumat, jak můžeme správně reprezentovat vzájemné hodnocení, které je nedílnou součástí většiny našich operací.
Jaký druh technické práce společnost provedla, aby v centru umožnila uznávání vzájemného hodnocení?
Peer review představovalo jednoduché rozšíření funkcí Hubu. Hlavní komplikací bylo vytvoření nástrojů pro správu skupiny id odkazováno v an ORCID peer review. Jsme velmi šťastní, že v týmu máme schopný a oddaný vývojový tým Univerzita Aucklandu. Radomirs Cirskis a Roshan Pawar to společně uvedli do provozu s v4 Hubu, který byl spuštěn v květnu.
Jsme nadšeni, že Královská společnost Te Apārangi je první ORCID člen uznat revizní příspěvky na financování. Jaký druh recenzí bude uznáván?
Fond vidí kolem 1,200 10 projevů zájmu ročně v celé řadě oborů. Aby bylo hodnocení praktické, je fond strukturován do 120 panelů založených na disciplíně. Každý panel posoudí přibližně 24 projevů zájmu a vybere asi 24, které pozve k podání úplného návrhu. Těchto 12 návrhů je zasláno cíli tří (téměř výhradně) mezinárodních rozhodčích k vyjádření. Panely se znovu sejdou, aby zvážily návrhy, komentáře rozhodčích a vyvrácení vyšetřovatelů, aby vybrali XNUMX, které budou úspěšné.
Vzhledem k tomu, že rozhodčí jsou v současné době anonymní, jsou recenzní příspěvky, které nás nejvíce zajímají a dokážeme prosadit, službou poskytovanou účastníky diskuse.
Co doufáte, že zpřístupněním uznání vzájemného hodnocení panelistům fondu Marsden, čeho chcete dosáhnout a s jakými výzvami jste se setkali?
Vzájemné hodnocení je tak důležitou součástí našich procesů, takže hledáme jasný, čistý a autoritativní způsob, jak jednoznačně tvrdit, že konkrétní osoba poskytla tuto službu. Doufáme, že to bude pro účastníky panelu užitečné. Vzhledem k tomu, že jsme často kontaktováni, abychom potvrdili, že sloužili v panelu pro jiné procesy hodnocení, chceme dát panelistům možnost sdílet tyto informace sami.
Očekává se, že socializace prosazování toho, co je již veřejnou informací, bude triviální. Místo toho bylo naší největší výzvou pokusit se do této role vejít ORCIDmodelová reprezentace peer review. Naopak, tento model by se relativně dobře hodil, kdyby Fond nebo jakýkoli z procesů Společnosti nabídl rozhodčím příležitost otevřít se ohledně své identity; to však v současné době rozhodně neplatí.
Jaké přístupy jste zvažovali, například pokud jde o rozpoznávání vzájemných hodnocení versus příslušnost ke službám?
Naší prvotní myšlenkou bylo uplatnění těchto rolí v sekci vzájemného hodnocení panelistů ORCID záznam, a to jak proto, že jsme si mysleli, že to dokážeme zprovoznit, tak s v2.1 ORCID API, to byla jediná hra ve městě. Vyrovnávání se s modelem peer review však ukázalo, že to nebylo úplně vhodné pro to, co jsme chtěli tvrdit, tj. Kde je identifikovatelná práce předmětem identifikovatelné kontroly. Po diskusích s ORCID tým, rozhodli jsme se místo toho počkat na přidružení služeb v3.0.
Jaké byly zatím reakce vědců na možnost, aby jejich revizní práce pro Společnost byla uznána za jejich ORCID záznam?
Je příliš brzy na to říci, protože jsou ještě rané dny. Součástí tohoto úsilí bylo získání souhlasu Rady fondu Marsden, která fond spravuje, a podporovali jak tuto činnost, tak tvrzení o financování v ORCID.
Jaké výzvy představovalo to, že jako první začal pracovat na uznávání vzájemného hodnocení ve financování, a jakou radu byste dali jiným financujícím, kteří by chtěli vzájemné hodnocení propojit a uznat?
Peer review je nejnovější ze sekcí ORCID record, a přinejmenším ve v2.1, je pevně zaměřen na koncept recenzenta, který skládá recenzi pro předmět jménem revizní skupiny. Jako donor bylo výzvou, aby předmět byl jedním z nich ORCIDtypy práce, zatímco kontrolní skupiny mohou být: vydavatel; instituce; časopis; konference; noviny; zpravodaj; časopis; nebo služba vzájemného hodnocení. Žádný z nich opravdu nevyhovuje financující organizaci, kde by předmětem nebyla práce, ale grant, návrh nebo žádost. Skutečnost, že tolik sporných přezkumů financování je zaslepeno, také dělá přísnou aplikaci ORCIDModel peer review je pro nás v tuto chvíli nepraktický.
Pokud by se společnost posunula směrem k otevřené revizi, nebo alespoň otevřenější než v současné době, přístup peer review by stálo za to přehodnotit. Pro ostatní dárce jednou ORCID má vhodné typy předmětů a typy organizací, pak je to určitě možné, pokud praktikují otevřenou kontrolu; příslušnost ke službám však prozatím vypadá jako mnohem univerzálněji použitelný přístup.
Při pohledu do budoucna je uznání vzájemného hodnocení součástí ORCID plán pro ostatní členy Nového Zélandu pomocí ORCID Rozbočovač?
Všichni hlavní veřejní poskytovatelé výzkumu na Novém Zélandu jsou součástí našeho konsorcia, a to je něco, čeho se mohou prostřednictvím Hubu věnovat. Rozhodně bych doufal, že se tento druh uznání rozšíří i na naše další sponzory vzhledem k hodnotě, kterou dostáváme od služby recenzentů.