Vědecké publikování stojí na piedestalu - společnost považuje vědecké zprávy za nejbližší sbližování se s Pravdou, kterou máme. Vědci sami vědí, že věda je pokusem sblížit se v průběhu desetiletí k interpretaci, která je měřena a prokázána jako nejméně chybná. Pravda je venku, ale můžeme jen doufat, že uvidíme její stín.
Přesto zoufale doufám, že vědecké publikování bude i nadále stát na své vyvýšené platformě. Bez toho má celá společnost „spravedlivou a vyváženou“ kakofonii internetu, kde si každý vybere, jaké šarlatánství a pseudověda nejlépe vyhovuje jeho konkrétní kalcifikaci názoru.
Přestože věda může veřejnosti stát na piedestalu, ve skutečnosti je to kouzelné auto řízené redaktory a poháněné peer review - Chitty Chitty Bang Bang!
Redaktoři a recenzenti musí co nejlépe prokázat, že to, co se uvádí jako věda, se řídí správnou metodikou, aby to bylo možné nezávisle ověřit a že předložené závěry oprávněně vyplývají z použitých dat a analýz. Redaktoři a recenzenti by také měli prokázat, že to, co se uvádí jako věda, je důležité - stojí to za váš čas a pozornost čtenáře.
V akademické komunitě existuje jasná disonance: na jedné straně průzkumy ukazují, že mezi vědci existuje široká shoda v tom, že vzájemné hodnocení je základním kamenem akademického publikování; na druhé straně je také rozšířený dojem, že vzájemné hodnocení nesplňuje to, co se od něj očekává, a ve skutečnosti může někdy způsobit problémy. Schopnost tradičního systému vzájemného hodnocení poskytovat to, co se od něj dnes očekává, je stále více zpochybňována.
V duchu Peer Review Week 2015, který kromě oslavy peer review a uznání významného množství času, který tomu vědci věnují, je také příležitostí pro komunitu debatovat o tom, co funguje a co ne, bych rád zdůrazněte některé výzvy - nepříjemné zvuky názvu - a některá možná řešení.
Vzájemné hodnocení a postupné sklouznutí po žebříčku prestižního časopisu po jednom odmítnutí vytváří významné zpoždění zveřejnění. Kromě času stráveného kontrolou recenzentů, které budou přijaty, vědci možná stráví 15 milion hodin každý rok kontrola odmítnutých příspěvků - není to ztracený čas, protože to znamená, že filtry fungují (pokud by vzájemné hodnocení vždy vedlo k přijetí, bylo by to pro systém nešťastné selhání), ale v mnoha případech by zprávy mohly být použity na podporu kladné rozhodnutí v jiném deníku. Vzájemné hodnocení je otevřené riziko podjatosti - zda národnost, institucionální prestiž, pohlaví, osobní vztahy nebo jiné záležitosti skutečně ovlivňují dané vzájemné hodnocení a rozhodnutí o zveřejnění, je irelevantní. Skutečná otázka zní: může autor plně věřit, že to neovlivní? Vyžádat si vzájemné hodnocení a honit se po zmeškaných termínech se pro redakce stalo břemenem hloupých rozměrů, které ubírá čas skutečnému vědeckému dohledu nad cíli a rozsahem časopisu. A vzájemné hodnocení je otevřené riziku naprostý podvod: za poslední rok byly staženy desítky papírů z důvodu podvodného vzájemného hodnocení.
Ale pro mě je nejvýznamnější z těchto výzev narušení důvěryhodnosti. Kvalita vzájemného hodnocení se zkrátka příliš liší, aniž by došlo k účinnému posouzení této kvality a postupů, které by tato hodnocení přinesla při rozhodování o publikování.
V rámci současného systému existuje pravděpodobně jen málo pobídek pro výzkumné pracovníky, aby vynaložili značnou investici času a plné pozornosti a odborných znalostí, které je třeba provést na úkolu vzájemného hodnocení. Domnívám se, že nedostatek uznání vzájemného hodnocení - a čas, který to zabere - znamená, že mnoho vědců je spokojeno s tím, jak to udělat rychle, ne opatrně. Přesto dobré nebo špatné peer review může doslova rozhodnout o osudu celé kariéry nějakého mladého výzkumníka. Kolik bystrých mladých lidí ztratilo vědu jen kvůli unáhlenému a neopatrnému vzájemnému hodnocení, které zabránilo zveřejnění důležitého rukopisu těsně před klíčovým termínem udělení grantu, což je přimělo vzdát se?
Nějak mě to ztratilo. Ale stále miluji Chitty Chitty Bang Bang.
Proto moje nová práce: stavba rafinerie na vývoj paliva s vyšším oktanovým číslem.
At Šlechtický titul vědy používáme dvojí přístup ke zlepšování vzájemného hodnocení (ani jeden z nich není proprietární, takže nic nebrání časopisům, které nepoužívají Peerage of Science, aby je místo toho implementovaly samy.
Za prvé, otevřená angažovanost-pokud byla vaše identita a kvalifikace ověřena důvěryhodným externím zdrojem a nejste spojeni s autory prostřednictvím instituce nebo nedávného spoluautorství, můžete se zapojit do peer review jakéhokoli rukopisu. Redaktoři mohou doporučit recenzenty, ale nemají na to výhradní právo - každý Peer, včetně autorů, může doporučit kohokoli jiného. Za druhé, samotné recenze jsou recenzovány („peer-review-of-peer-review“). To vytváří velmi účinný sociální tlak na výzkumné pracovníky, aby věnovali více času a úsilí pečlivému provádění vzájemného hodnocení. Výchozí přístup k anonymitě ve šlechtickém titulu vědy je navíc trojitě slepý, což znamená, že argumenty každého-autorů, recenzentů, redaktorů-musí stát na svých vlastních vědeckých zásluhách, ovlivněných co nejméně předsudky proti nebo pro osobní faktory. Přestože je to výchozí, nikoli mandát konkrétního pohledu, šlechtický titul vědy umožňuje autorovi vybrat si.
Jako člen organizace ORCID„Šlechtický titul vědy se také těší na podporu nových standardizovaných, citovatelných a řešitelných záznamů pro práci vzájemného hodnocení v ORCID profily. Je důležité, aby byla vzájemná kontrola uznávána způsobem, který bere v úvahu kvalitu práce, a mít autoritativní záznamy, které jsou spojeny s výsledky křížového hodnocení a zpětnou vazbou, je slibný způsob, jak toho dosáhnout.
Mnoho dalších organizací, stejně jako my, pracuje na vylepšení systému vzájemného hodnocení, ať už usnadněním uznání práce recenzentů, experimentováním s novými formami vzájemného hodnocení, hledáním způsobů, jak znovu použít hodnocení zamítnutých prací a další. Takže při oslavě Peer Review Week - nyní i v budoucnosti - zkusme všichni udělat peer review něco, co ospravedlňuje podstavec a udržuje Chitty Chitty Bang Bang létání, 52 týdnů každý rok.
[Titulek obrázku: Chitty Chitty Bang Bang. Hrabě Louis Zborowski s Chitty Bang Bang 1 v Brooklands c1921. Public domain obrázek přes Wikipedii.]