Per celebrare la settimana della revisione tra pari, i rappresentanti di ORCID, ScienceOpen, Sense About Science e Wiley si sono riuniti (virtualmente) per discutere perché la revisione tra pari è importante - per loro e per le loro organizzazioni - e cosa sperano di ottenere questa settimana.
Mille grazie ai partecipanti Stephanie Dawson (CEO, ScienceOpen), Chris Graf (New Business Director, Professional Innovations for Associations and Societies, Wiley), Peter Gregory (Editor-in-Chief Advanced Materials, VP e Publishing Director, Wiley), Laure Haak (Direttore esecutivo, ORCID), Emily Jesper (assistente alla regia, Sense about Science)
(da sinistra a destra: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stephanie Dawson (SD): Quando ho iniziato come journal manager presso gli editori De Gruyter, ricevevo tre copie di ogni manoscritto, che mettevo in buste e spedivo per posta in Giappone o in Argentina sperando che il revisore prescelto avesse il tempo di rivedere. Da allora molto è cambiato e molto no. Alcuni revisori hanno svolto un lavoro estremamente coscienzioso nell'aiutare gli autori a migliorare i loro articoli, altri hanno inviato un rifiuto in tre righe. Ho davvero visto in prima persona quanto potesse essere eterogeneo il processo e avrei voluto ringraziare personalmente ogni revisore che si è impegnato per aiutare davvero i suoi colleghi.
Con la rete di ricerca e pubblicazione ScienceOpen, uno dei nostri ruoli distinti oltre a quello di editore e aggregatore di contenuti Gold Open Access (OA), è quello di riformatore della revisione tra pari. Il nostro obiettivo è aumentare la fiducia nel processo di revisione tra pari rendendolo completamente trasparente. Allora tutti potranno vedere (e anche ringraziare) quei revisori che stanno facendo un lavoro eccezionale per migliorare la qualità della comunicazione scientifica.
Abbiamo implementato un nuovo flusso di lavoro per dimostrare l'efficacia di un approccio diverso alla Peer Review e la sua idoneità per il futuro digitale della comunicazione accademica che riteniamo dovrà accelerare e coinvolgere la pubblicazione di molti più oggetti digitali rispetto all'attuale singolo articolo unità.
Chris Graf (CG): Parlando di nuovi flussi di lavoro, sono personalmente interessato a come la peer review prima e dopo la pubblicazione in combinazione renderà un sistema migliore.
La revisione tra pari pre-pubblicazione convalida e organizza la ricerca e, nel complesso, svolge un ottimo lavoro. Ma, siamo onesti, a volte si sbaglia in modo spettacolare. Ed è qui che entra in gioco la revisione tra pari post-pubblicazione.
La revisione tra pari post-pubblicazione può aiutare a contestualizzare, curare e, cosa entusiasmante per me, forse offre anche un punto di ingresso più accessibile per i lettori (ad esempio, commenti in PubPeer, PubMed Commons, metriche e altro in Kudos, forniscono una guida per i lettori e aiutano a articoli). E – sì – la revisione tra pari post-pubblicazione elimina ogni tanto la mela marcia. Che è importante.
Infine, dobbiamo fermarci e pensare – e avere una discussione pubblica – sull'opportunità di considerare un articolo sottoposto a revisione paritaria come assoluto, definitivo, definitivo e corretto al 100% solo perché è stato sottoposto a revisione paritaria. Potrebbe essere più realistico pensare a un articolo sottoposto a revisione paritaria come un passo in un viaggio di ricerca (piuttosto tortuoso), durante il quale possiamo aspettarci di fare passi falsi, prendere svolte sbagliate, inciampare e prendere nuove direzioni prima di raggiungere la nostra destinazione finale: La risposta. Molti passaggi costituiscono quel viaggio e molti pezzi di ricerca costituiscono le prove che usiamo per informare la pratica e la politica.
Laure Haak (sinistra): Sono completamente d'accordo con il tuo ultimo punto, ma, in termini di convalida, è davvero questo ciò che fa la revisione tra pari? Dovrebbe essere il filtro che dice che questo documento ha utilizzato la metodologia e le statistiche corrette (nel caso di un documento scientifico) o stiamo davvero cercando il revisore tra pari per valutare il flusso logico del documento? In fin dei conti, di chi è la responsabilità se la carta viene trovata “fraudolenta”? Possiamo davvero aspettarci/vogliamo che quel peso sia sul revisore?
Emily Jesper (EJ): E al punto di Chris sul ruolo della revisione paritaria nell'informare la pratica e la politica, ovviamente la revisione tra pari non è solo qualcosa di significativo per i ricercatori scientifici. Poiché indica che la ricerca è stata esaminata da esperti indipendenti nel settore, la revisione tra pari è una considerazione importante per i responsabili politici, i giornalisti e il pubblico quando si valutano le affermazioni della ricerca e i dibattiti sulla scienza. Comprendere lo stato delle affermazioni di ricerca è abilitante. Ci aiuta a valutare le affermazioni e a utilizzare le prove per prendere decisioni. Da quando Sense About Science è stato istituito nel 2002, abbiamo lavorato per diffondere più ampiamente la comprensione della revisione tra pari. La nostra guida pubblica alla revisione paritaria Non so cosa credere incoraggia le persone a chiedere "È una revisione paritaria?" quando soppesiamo le affermazioni sulla scienza.
Pietro Gregorio (PSG): Sebbene tu abbia ragione sul fatto che la revisione tra pari abbia un significato più ampio, è importante per Wiley principalmente perché è importante per la comunità accademica che serviamo. Oltre a raccogliere opinioni e migliorare i contributi, la peer review fornisce anche, soprattutto nelle scienze e nella medicina, una valvola di sicurezza, impedendo la distribuzione di articoli errati o addirittura pericolosi.
LH: Sì, la revisione tra pari è una componente fondamentale della pratica accademica. È un insieme consolidato di metodi per raccogliere commenti su opere accademiche (documenti, libri, borse di studio, programmi e altro) da colleghi - esperti del settore - con l'obiettivo finale di migliorare il lavoro. ORCID è interessato alla peer review perché sono coinvolte le persone, sia i creatori delle opere che i revisori. Stiamo lavorando con la comunità per sviluppare metodi digitali per riconoscere i contributi dei revisori citando le attività di revisione tra pari. In questo modo speriamo di incoraggiare gli studiosi a partecipare come revisori e anche di supportare altri che stanno lavorando su questioni di fiducia nel processo di revisione.
SD: Mi piace l'idea di fare ORCID il luogo in cui i ricercatori possono registrare le loro attività di revisione. ScienceOpen sta cercando di risolvere questo problema con recensioni aperte che hanno un DOI CrossRef registrato. Publons sta anche facendo un buon lavoro in questo modo, oltre a supportare i revisori nelle riviste di peer review cieche. In caso di revisione cieca, stanno verificando con gli editori che un revisore ha effettivamente svolto il lavoro che affermano: in questo momento sarebbe facile per un ricercatore aggiungere "recensione per Natura e Cellula" al proprio CV perché non c'è modo di verificare questo nel nostro attuale sistema di revisione alla cieca. Ancora una volta la fiducia e la trasparenza sono fondamentali.
PSG: Spero che questa settimana della revisione tra pari aiuti a intensificare la discussione sulla revisione tra pari e inizi a sensibilizzare i partecipanti (editori, autori, editori, arbitri, finanziatori, ecc.) Alcune aree raccolgono opinioni, altre sono più basate sui fatti; alcuni beneficiano della circolazione preprint (prima della revisione tra pari e della pubblicazione, intendo) alcuni ne sono danneggiati; per alcuni la recensione post pubblicazione è innovativa, per alcuni è pericolosa. Questo mi porta alla conclusione che coloro che lavorano per migliorare/cambiare la peer review dovrebbero considerare attentamente che una taglia non va bene per tutti.
SD: Sono d'accordo che non ci sarà una soluzione "taglia unica", ma diverse comunità possono anche imparare l'una dall'altra, soprattutto perché un aumento della ricerca interdisciplinare le unisce. Un ottimo esempio è il server di prestampa per le scienze biologiche BioRxiv che si basa sull'esperienza di prestampa positiva della comunità dei fisici con arXiv. Nel nuovo campo della bioinformatica, gli scienziati informatici hanno appena messo i loro preprint su arXiv come un dato di fatto, e il ricercatore proveniente più dalle scienze della vita ha chiesto "che cos'è?" Quindi qualcosa di veramente interessante il mio crescere proprio in quei punti di attrito. Anche la nuova tendenza verso i megajournal come PLoS One, SpringerOpen, Scientific Reports, richiede il ripensamento della revisione tra pari per adattarsi a una vasta gamma di comunità e tutte queste riviste si sono ridotte a chiedere ai revisori di rivedere solo la validità scientifica dei risultati. Quindi questo potrebbe darci qualche indizio su quale potrebbe essere il denominatore comune della revisione tra pari.
LH: L'idea di un denominatore comune è davvero fondamentale ed è esattamente il tipo di discussione che spero genererà la settimana della revisione tra pari, stimolando e concentrando la conversazione in corso sulla revisione tra pari e, in tal modo, portando avanti ciò che viene fatto in pratica per supportare i miglioramenti .
SD: Dal punto di vista di ScienceOpen, questa settimana di revisione tra pari, vogliamo porre una semplice domanda. Man mano che il numero dei risultati della ricerca cresce e si diversifica (set di dati, risultati negativi, case report, preprint, poster...) la comunità di ricerca sarà in grado di esaminare tutti questi oggetti prima della pubblicazione? Pensiamo di no. Non c'è abbastanza tempo durante la giornata, soldi per pagarlo e nemmeno voglia di farlo adesso. Queste uscite saranno comunque utili? Assolutamente sì, se abbiamo un modo potente per trovarli e filtrarli in base a parametri che i lettori trovano utili e gli autori trovano gratificante. Per esempio:
- Cosa pensano i miei colleghi di queste informazioni?
- Ci sono aggiornamenti a riguardo?
- Che impatto ha avuto nel mondo e chi se ne è accorto?
- Quale lavoro vale la pena evidenziare in un campo specifico?
- Quante volte è stato citato e dove?
- Se ho avuto il tempo di esaminarlo, il mio contributo può essere trovato e citato?
- Questi sforzi miglioreranno le mie prospettive di carriera?
- Quante volte è stato citato e dove?
Nessuna di queste domande valide è influenzata da un'evoluzione dalla revisione paritaria anonima cieca o in doppio cieco, a parte la velocità con cui possiamo rispondere. Processi trasparenti e semplici strumenti web possono filtrare in modo più rapido, migliore ed economico di quanto potrebbero mai fare le riviste e la revisione tra pari pre-pubblicazione.
Questo è il motivo per cui in ScienceOpen abbiamo sviluppato sistemi per la Peer Review post-pubblicazione; Versionamento; assegnazione DOI; Metriche dell'articolo; collezioni; Informazioni sulle citazioni aperte e altro ancora - per dimostrare un modo diverso (e diremmo meglio) di procedere.
LH: Non sono sicuro di essere d'accordo sul fatto che la revisione tra pari sia insostenibile. Penso che se noi, la comunità, forniamo una guida su cosa significa rivedere tra pari determinati tipi di contenuti, allora potremmo essere sulla buona strada per supportare la revisione di una serie più ampia di risultati. Abbiamo bisogno di rispondere a domande come, chi è responsabile per il contenuto? Qual è il ruolo dell'autore/consulente/datore di lavoro/editor/revisore? Questo è fondamentale. Alcuni di questi "nuovi" contenuti, come i set di dati, potrebbero richiedere a un revisore di verificare se i metadati sono sufficientemente descrittivi e se il deposito/accesso/conservazione a lungo termine dei dati è contabilizzato secondo il piano di gestione dei dati. E anche se mi piacciono i tuoi suggerimenti per trovare e filtrare i risultati della ricerca, niente di tutto questo è rilevante se il set di dati (ad es.) è seduto su un datastick nel cassetto di qualcuno. Un revisore tra pari può essere una componente fondamentale per garantire che i set di dati siano preservati e il percorso di accesso descritto in modo persistente in modo che sia citabile. Lo stesso vale per altri tipi di output.
SD: Ci sono molti editori e organizzazioni là fuori che stanno ripensando a ciò che la revisione tra pari dovrebbe davvero realizzare e creando nuovi servizi per supportarlo, a volte anche troppi dal punto di vista dello studioso che potrebbe sentirsi sopraffatto da nuove definizioni e scelte. Penso anche che sia importante durante questa Peer Review Week dimostrare come le innovazioni in questo campo siano davvero costruite per supportare i revisori e il fantastico lavoro che stanno facendo. Quindi spero che questa settimana vedremo il riconoscimento dei nuovi modelli di Peer Review che esistono oggi, dimostrati da piccole organizzazioni start-up, come ScienceOpen e The Winnower e altre come F1000Research e PeerJ. E che le discussioni sulla Peer Review sono già andate oltre le interessanti conversazioni tra accademici per coinvolgere sviluppatori di software ed editori che lavorano in entità per lo più commerciali che sono brave a rendere l'innovazione una realtà.
Resta però aperta la domanda “può la comunità scientifica cogliere queste nuove opportunità perché il luogo in cui un ricercatore pubblica è ancora legato all'impatto degli stessi prodotti della ricerca in termini di progressione di carriera?”. Rompere la presa dell'Impact Factor non è un'impresa facile. Ma qualsiasi nuovo sistema dovrà soddisfare i criteri di fiducia e trasparenza.
LH: Non credo che il problema sia il fattore di impatto. Penso che il punto di questa settimana sia abbracciare la Peer Review in tutta la sua diversità e lavorare per comprenderne la funzione centrale nel discorso accademico. Per il punto di Chris sopra, la revisione tra pari è parte di un viaggio. Discipline diverse, argomenti diversi trarranno beneficio da sapori diversi, tutti buoni. Concentriamoci sul processo stesso, e non tanto sul contenitore (ad es. piattaforma journal/servizio).
EJ: E non dimentichiamo inoltre che il pubblico ha bisogno di conoscere la revisione tra pari e quindi scienziati ed editori dovrebbero parlarne. La settimana della revisione tra pari è una grande opportunità per i ricercatori di fermarsi a riflettere sul ruolo più ampio che la revisione tra pari svolge nella società nel mantenere la qualità nella scienza e per condividerla più ampiamente. Spero in particolare che sentiremo dai ricercatori all'inizio della carriera il motivo per cui la revisione tra pari è importante per loro e diamo maggiore riconoscimento a questo ruolo vitale e volontario svolto dai ricercatori. Darà inoltre ai ricercatori la possibilità di conoscere le fantastiche risorse, i workshop e le opportunità di formazione disponibili sulla revisione tra pari.