Na oslavu týdne vzájemného hodnocení zástupci společnosti ORCIDSpolečnosti ScienceOpen, Sense About Science a Wiley se sešly (virtuálně), aby diskutovaly o tom, proč záležitosti vzájemného hodnocení - pro ně a pro jejich organizace - a co doufají, že tento týden dosáhne.
Velké poděkování účastníkům Stephanie Dawson (generální ředitel, ScienceOpen), Chris Graf (nový obchodní ředitel, profesionální inovace pro asociace a společnosti, Wiley), Peter Gregory (šéfredaktor pokročilých materiálů, viceprezident a ředitel pro vydávání, Wiley), Laure Haak (Výkonný ředitel, ORCID), Emily Jesper (zástupkyně ředitele, Sense about Science)
(zleva doprava: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stephanie Dawson (SD): Když jsem začínal jako manažer deníků v nakladatelstvích De Gruyter, dostával jsem od každého rukopisu tři kopie, které jsem vložil do obálek a odeslal poštou do Japonska nebo Argentiny a doufal, že vybraný peer reviewer bude mít čas na recenzi. Od té doby se mnohé změnilo a mnoho ne. Někteří recenzenti odvedli mimořádně svědomitou práci při pomoci autorům vylepšit jejich příspěvky, jiní poslali odmítnutí ve třech řádcích. Opravdu jsem na vlastní oči viděl, jak heterogenní může být tento proces, a přál bych si osobně poděkovat každému recenzentovi, který si dal tu námahu a opravdu pomohl svým kolegům.
Díky výzkumné a publikační síti ScienceOpen je jednou z našich odlišných rolí kromě vydavatele a agregátoru obsahu Gold Open Access (OA) role reformátora vzájemného hodnocení. Naším cílem je posílit důvěru v proces vzájemného hodnocení tím, že bude zcela transparentní. Každý pak může vidět (a dokonce poděkovat) těm recenzentům, kteří dělají výjimečnou práci pro zlepšení kvality vědecké komunikace.
Nasadili jsme nový pracovní postup, abychom demonstrovali účinnost odlišného přístupu k Peer Review a jeho vhodnost pro digitální budoucnost vědecké komunikace, o které se domníváme, že bude nutné urychlit a zahrnout publikování mnoha dalších digitálních objektů, než je aktuální jediný článek. jednotka.
Chris Graf (CG): Když mluvíme o nových pracovních postupech, osobně mě zajímá, jak vzájemná kontrola před a po publikaci vzájemného hodnocení vytvoří lepší systém.
Peer review před publikací ověřuje a organizuje výzkum a v zásadě odvádí skvělou práci. Ale - řekněme si to upřímně - někdy to přijde až okázale špatně. A tady přichází na řadu vzájemná kontrola po publikaci.
Peer review po publikaci může pomoci kontextualizovat, upravovat a-pro mě vzrušující-možná také poskytne přístupnější vstupní bod pro čtenáře (např. Komentáře v PubPeer, PubMed Commons, metriky a další v Kudos, poskytují směr pro čtenáře a pomáhají s povrchem články). A-ano-po publikaci peer review plevele-občas špatné jablko. Což je důležité.
Nakonec se musíme zastavit a zamyslet se - a vést veřejnou diskusi - o tom, zda bychom měli považovat recenzovaný článek za absolutní, definitivní, konečný a 100% správný jen proto, že je recenzován. Mohlo by být realističtější uvažovat o recenzovaném článku jako o jednom kroku na (poměrně klikaté) výzkumné cestě, na které můžeme očekávat, že budeme dělat chyby, špatně se otáčet, klopýtat a nabírat nové směry, než dojdeme do konečného cíle: Odpověď. Mnoho kroků tvoří tuto cestu a mnoho výzkumů je důkazem, který používáme k informování o praxi a politice.
Laure Haak (LH): Naprosto souhlasím s vaším posledním bodem, ale pokud jde o ověření, je to opravdu to, co dělá peer review? Má to být filtr, který říká, že tento článek použil správnou metodiku a statistiky (v případě vědeckého příspěvku), nebo opravdu hledáme peer reviewera, který by posoudil logický tok příspěvku? Na konci dne, kdo je zodpovědný za to, že je papír shledán „podvodným“? Můžeme opravdu očekávat/chceme, aby tato váha byla na recenzentovi?
Emily Jesper (EJ): A pokud jde o Chrisův názor na úlohu vzájemného hodnocení při informování o praxi a politice, peer review samozřejmě nemá pro vědecké výzkumníky jen význam. Protože to naznačuje, že výzkum byl zkoumán nezávislými odborníky v této oblasti, je vzájemné hodnocení důležitým faktorem pro tvůrce politik, reportéry a veřejnost při zvažování výzkumných tvrzení a debat o vědě. Pochopení stavu tvrzení z výzkumu posiluje. Pomáhá nám zvážit nároky a používat důkazy k rozhodování. Od založení Sense About Science v roce 2002 pracujeme na širší popularizaci porozumění vzájemnému hodnocení. Náš veřejný průvodce vzájemným hodnocením Nevím, čemu věřit, povzbuzuje lidi, aby se ptali „Je to recenzované?“ při zvažování tvrzení o vědě.
Peter Gregory (PSG): Ačkoli máte pravdu, že vzájemné hodnocení má širší význam, záleží na Wiley především proto, že záleží na vědecké komunitě, které sloužíme. Kromě shromažďování názorů a zlepšování příspěvků poskytuje vzájemné hodnocení také, zejména ve vědách a medicíně, bezpečnostní ventil, který zabraňuje distribuci nesprávných nebo dokonce nebezpečných chybných článků.
HL: Ano, peer review je základní součástí vědecké praxe. Je to zavedený soubor metod pro shromažďování komentářů k vědeckým pracím (dokumenty, knihy, granty, programy a další) od kolegů - odborníků v dané oblasti - s konečným cílem zlepšit práci. ORCID má zájem o vzájemné hodnocení, protože jsou do něj zapojeni lidé, jak tvůrci děl, tak recenzenti. Spolupracujeme s komunitou na vývoji digitálních metod k uznání příspěvků recenzentů citováním aktivit vzájemného hodnocení. Doufáme, že díky tomu povzbudíme vědce k účasti jako recenzenti a také podpoříme ostatní, kteří pracují na otázkách důvěry v proces kontroly.
SD: Miluji myšlenku výroby ORCID místo, kde mohou vědci zaznamenávat své revizní aktivity. ScienceOpen se to snaží řešit otevřenými recenzemi, které mají zaregistrovaný CrossRef DOI. Publons také dělá dobrou práci a podporuje recenzenty ve slepých časopisech o peer review. V případech slepé kontroly ověřují u vydavatelů, že recenzent skutečně odvedl práci, kterou tvrdí - právě teď by bylo pro výzkumníka snadné přidat do svého životopisu „recenzi na Nature and Cell“, protože neexistuje způsob, jak ověřit to v našem současném systému slepého hodnocení. Klíčová je opět důvěra a transparentnost.
psg: Doufám, že tento týden Peer Review pomůže zintenzivnit diskusi o vzájemném hodnocení a zahájí senzibilizaci účastníků (vydavatelů, autorů, redaktorů, rozhodčích, sponzorů atd.) Na rozdíly ve způsobech, jak se vzájemné hodnocení uplatňuje, a je užitečné v různých komunitách. Některé oblasti shromažďují názory, některé jsou založeny spíše na faktech; některé těží z oběhu předtiskové přípravy (myslím před peer review a publikací) některé jsou tím poškozeny; pro někoho je recenze po publikaci novátorská, pro někoho nebezpečná. To mě vede k závěru, že ti, kteří pracují na zlepšování/změně vzájemného hodnocení, by měli pečlivě zvážit, že jedna velikost nevyhovuje všem.
SD: Souhlasím s tím, že nebude existovat řešení „univerzální pro všechny“, ale různé komunity se také mohou navzájem učit, zejména proto, že je spojuje nárůst interdisciplinárního výzkumu. Jedním skvělým příkladem je server pro předtisk biologických věd BioRxiv, který staví na pozitivních zkušenostech komunity s fyzikou před tiskem s arXiv. V nové oblasti bioinformatiky počítačoví vědci ve skutečnosti vložili své předtisky na arXiv a výzkumník pocházející z věd o životě se zeptal „co to je?“ Takže něco opravdu zajímavého vyrostlo právě v těchto bodech tření. Také nový trend k megajournálům, jako jsou PLoS One, SpringerOpen, Scientific Reports, vyžaduje přehodnocení vzájemného hodnocení tak, aby vyhovovalo široké škále komunit, a všechny tyto časopisy přišly k požadavku, aby recenzenti pouze zkontrolovali vědeckou správnost výsledků. To nám tedy může poskytnout určité vodítko k tomu, čím se může společný jmenovatel vzájemného hodnocení posouvat kupředu.
HL: Myšlenka na společného jmenovatele je opravdu klíčová a je to přesně ten druh diskuse, kterou, doufám, Peer Review Week vygeneruje - stimulace a soustředění probíhající konverzace na peer review a při tom odhalení toho, co se v praxi dělá, aby se podpořila zlepšení .
SD: Z pohledu ScienceOpen, tohoto týdne Peer Review, chceme položit jednoduchou otázku. Jak bude růst a diverzifikovat počet výstupů výzkumu (soubory dat, negativní výsledky, kazuistiky, předtisky, plakáty ...), bude výzkumná komunita schopna peer-review všech těchto objektů před zveřejněním? Myslíme si, že ne. Během dne není dost času, peněz na zaplacení nebo dokonce chuť to udělat teď. Budou tyto výstupy přesto užitečné? Absolutně, pokud máme účinný způsob, jak je najít a filtrovat na základě parametrů, které čtenáři považují za užitečné a autory za přínosné. Například:
- Co si o této informaci myslí moji vrstevníci?
- Existují nějaké aktualizace?
- Jaký dopad to mělo ve světě a kdo si toho všiml?
- Kterou práci je třeba v konkrétním oboru zdůraznit?
- Kolikrát to bylo citováno a kde?
- Pokud jsem si udělal čas na jeho přezkoumání, lze můj příspěvek najít a citovat?
- Zlepší toto úsilí mé vyhlídky na kariéru?
- Kolikrát to bylo citováno a kde?
Žádná z těchto platných otázek není ovlivněna vývojem mimo slepé nebo dvojitě zaslepené anonymní peer review, kromě rychlosti, s jakou na ně můžeme odpovědět. Transparentní procesy a jednoduché webové nástroje mohou filtrovat rychleji, lépe a levněji, než kdy mohly deníky a vzájemné hodnocení před vydáním.
Proto jsme ve společnosti ScienceOpen vyvinuli systémy pro Pe-Review po publikování; Správa verzí; Alokace DOI; Metriky článku; Sbírky; Informace o otevřené citaci a další - k demonstraci jiného (a hádali bychom se lépe) způsobu vpřed.
HL: Nejsem si jistý, že souhlasím s tím, že vzájemné hodnocení je neudržitelné. Domnívám se, že pokud my, komunita, poskytneme pokyny k tomu, co znamená vzájemné hodnocení určitých typů obsahu, můžeme být na dobré cestě k podpoře přezkoumání širšího souboru výstupů. Musíme řešit otázky typu: Kdo je zodpovědný za obsah? Jaká je role autora/poradce/zaměstnavatele/redaktora/recenzenta? To je zásadní. Některý z tohoto „nového“ obsahu, jako jsou datové sady, může vyžadovat, aby kontrolor zkontroloval, zda jsou metadata dostatečně popisná a zda je podle plánu správy dat účtováno ukládání/přístup/dlouhodobé uchovávání dat. A přestože se mi líbí vaše návrhy na hledání a filtrování výstupů výzkumu, nic z toho není relevantní, pokud (např.) Datová sada sedí na datové tyči v něčí zásuvce. Peer reviewer může být kritickou součástí zajištění toho, aby byly datové sady zachovány a přístupová cesta popsána trvale tak, aby byla citovatelná. Totéž platí pro ostatní typy výstupů.
SD: Existuje spousta vydavatelů a organizací, kteří přehodnocují, čeho by mělo vzájemné hodnocení skutečně dosáhnout, a vytvářejí nové služby, které to podporují - někdy až příliš mnoho z pohledu učence, který se může cítit zahlcen novými definicemi a možnostmi. Rovněž si myslím, že je důležité během tohoto týdne vzájemného hodnocení ukázat, jak jsou inovace v této oblasti skutečně postaveny na podporu recenzentů a fantastické práce, kterou dělají. Doufám tedy, že se tento týden dočkáme uznání nových modelů Peer Review, které dnes existují a které předvedou malé začínající organizace, jako jsou ScienceOpen a The Winnower a další, jako F1000Research a PeerJ. A že diskuse o Peer Review již přesáhly rámec zajímavých rozhovorů mezi akademiky, aby se do nich zapojili vývojáři softwaru a vydavatelé pracující v převážně komerčních entitách, které jsou dobré při realizaci inovací.
Otevřenou otázkou však zůstává „může vědecká komunita přijmout tyto nové příležitosti, protože tam, kde vědecký pracovník publikuje, je stále spojeno s dopadem samotných výstupů výzkumu na kariérní postup?“. Prolomení sevření Impact Factor není snadný výkon. Každý nový systém však bude muset splňovat kritéria důvěry a transparentnosti.
HL: Nemyslím si, že problém je faktorem dopadu. Myslím, že smyslem tohoto týdne je přijmout Peer Review v celé jeho rozmanitosti a snažit se porozumět jeho základní funkci ve vědeckém diskurzu. K Chrisovu bodu výše je peer review součástí cesty. Různé disciplíny, různá témata budou těžit z různých příchutí, všechny dobré. Zaměřme se na samotný proces, a ne tolik na kontejner (např. Platforma deníků/služeb).
EJ: A také nezapomínejme, že veřejnost musí o vzájemném hodnocení vědět, a proto by o tom měli mluvit vědci a vydavatelé. Týden vzájemného hodnocení je skvělá příležitost pro výzkumné pracovníky zastavit se a zamyslet se nad širší rolí, kterou vzájemné hodnocení ve společnosti hraje při udržování kvality vědy, a sdílet ji v širším měřítku. Zejména doufám, že od výzkumníků z rané kariéry uslyšíme o tom, proč je pro ně peer review důležité, a větší uznání této zásadní, dobrovolné role, kterou výzkumníci hrají. Rovněž poskytne výzkumným pracovníkům příležitost slyšet o fantastických zdrojích, workshopech a možnostech školení, které jsou k dispozici při vzájemném hodnocení.