L'editoria scientifica si erge su un piedistallo: la società considera i rapporti scientifici come l'approssimazione più vicina alla Verità che abbiamo. Gli stessi scienziati sanno che la scienza è un tentativo di convergere, nel corso di decenni, a un'interpretazione misurata e dimostrata essere la meno sbagliata. La verità è là fuori, ma possiamo solo sperare di vederne l'ombra.
Tuttavia, spero disperatamente che l'editoria scientifica continui a reggersi su una piattaforma elevata. Senza di ciò, tutto ciò che la società ha è la cacofonia "equa ed equilibrata" di Internet, in cui ognuno sceglierà la ciarlataneria e la pseudoscienza che meglio si adattano alla loro particolare calcificazione dell'opinione.
Tuttavia, mentre la scienza può stare sul suo piedistallo davanti al pubblico, in realtà è un'auto magica guidata dagli editori e alimentata dalla revisione tra pari: Chitty Chitty Bang Bang!
Al meglio delle proprie capacità, editori e revisori devono stabilire che ciò che viene segnalato come scienza segue una metodologia solida, in modo che possa essere verificato in modo indipendente e che le conclusioni presentate siano giustificate dai dati e dall'analisi utilizzati. Gli editori e i revisori tra pari dovrebbero anche stabilire che ciò che viene segnalato come scienza è importante: vale il tuo tempo e la tua attenzione come lettore.
C'è una chiara dissonanza nella comunità accademica: da un lato, i sondaggi mostrano che c'è un ampio consenso tra gli scienziati sul fatto che la revisione tra pari sia la pietra angolare dell'editoria accademica; dall'altro, c'è anche la diffusa percezione che la revisione tra pari non soddisfi ciò che ci si aspetta da essa, e può effettivamente causare talvolta problemi. La capacità del tradizionale sistema di revisione paritaria di fornire ciò che ci si aspetta oggi da esso è sempre più messa alla prova.
Nello spirito della Peer Review Week 2015 che, oltre a celebrare la revisione tra pari e riconoscere la notevole quantità di tempo che i ricercatori dedicano ad essa, è anche un'opportunità per la comunità di discutere cosa funziona e cosa no, vorrei evidenziare alcune delle sfide – i fastidiosi rumori del titolo – e alcune potenziali soluzioni.
La revisione tra pari e il graduale scivolamento lungo la scala del prestigio del diario, un rifiuto alla volta, crea un significativo ritardo per la pubblicazione. Oltre al tempo speso per rivedere le proposte che vengono accettate, gli scienziati spendono forse 15 milioni di ore rivedere ogni anno le richieste che vengono respinte – non è tempo perso perché significa che i filtri funzionano (se la revisione tra pari portasse sempre all'accettazione, sarebbe un miserabile fallimento per il sistema), ma in molti casi i rapporti potrebbero essere utilizzati per supportare un decisione positiva in un'altra rivista. La revisione tra pari è aperta a il rischio di bias – è irrilevante se nazionalità, prestigio istituzionale, genere, relazioni personali o altre questioni influiscano davvero su una determinata revisione tra pari e decisione di pubblicazione. La vera domanda è: l'autore può avere piena fiducia che non lo influenzeranno? Sollecitare revisioni tra pari e rincorrere le scadenze mancate è diventato un fardello di proporzioni sciocche per gli uffici editoriali, consumando tempo dalla vera gestione scientifica degli obiettivi e della portata della rivista. E la revisione tra pari è aperta al rischio di frode totale: nell'ultimo anno decine di articoli sono stati ritirati a causa di una peer review fraudolenta.
Ma, per me, la più significativa di queste sfide è l'erosione dell'affidabilità. La qualità della revisione tra pari varia semplicemente troppo, senza alcuna valutazione efficace di tale qualità e senza procedure per applicare tali valutazioni alle decisioni di pubblicazione.
Con il sistema attuale, c'è probabilmente poco incentivo per un ricercatore a portare un significativo investimento di tempo e la sua piena attenzione e competenza per sostenere un compito di revisione tra pari. Credo che la mancanza di riconoscimento per la revisione tra pari – e il tempo necessario – significhi che molti scienziati si accontentano di farlo rapidamente, non con attenzione. Eppure una buona o cattiva revisione tra pari può letteralmente decidere il destino dell'intera carriera di un giovane ricercatore. Quanti giovani brillanti ha perso la scienza, semplicemente a causa di una revisione tra pari frettolosa e sconsiderata che ha impedito la pubblicazione di un manoscritto importante poco prima di una scadenza cruciale per la sovvenzione, spingendoli a rinunciare?
Mi ha perso. Ma amo ancora Chitty Chitty Bang Bang.
Da qui il mio nuovo lavoro: costruire una raffineria per sviluppare un combustibile ad alto numero di ottani.
At Pari di Scienze stiamo adottando un duplice approccio per migliorare la revisione tra pari (nessuna delle quali è proprietaria, quindi nulla impedisce alle riviste che non utilizzano Peerage of Science di implementarle da sole.
Primo, impegno aperto: a condizione che la tua identità e qualifica siano state convalidate da una fonte esterna affidabile e non sei affiliato con gli autori tramite istituzione o co-autore recente, puoi impegnarti per la revisione paritaria di qualsiasi manoscritto. Gli editor sono invitati a consigliare i revisori, ma non hanno il diritto esclusivo di farlo: qualsiasi peer, inclusi gli autori, può consigliare chiunque altro. In secondo luogo, le revisioni stesse sono sottoposte a revisione paritaria ("peer-review-of-peer-review"). Ciò crea una pressione sociale molto efficace per i ricercatori affinché dedichino più tempo e sforzi a svolgere con attenzione il lavoro di revisione tra pari. Inoltre, l'approccio predefinito all'anonimato in Peerage of Science è triplo cieco, il che significa che gli argomenti di tutti - autori, revisori, editori - devono basarsi sul proprio merito scientifico, influenzati il meno possibile da pregiudizi contro o per fattori personali. Tuttavia, sebbene questa sia l'impostazione predefinita, anziché imporre una vista particolare, Peerage of Science lascia scegliere all'autore.
In qualità di organizzazione membro di ORCID, Peerage of Science non vede l'ora di supportare i nuovi record standardizzati, citabili e risolvibili per il lavoro di revisione tra pari in ORCID profili. È importante che il lavoro di revisione tra pari venga riconosciuto in un modo che tenga conto della qualità del lavoro e avere un record autorevole collegato ai risultati della valutazione incrociata e al feedback è un modo promettente per farlo accadere.
Molte altre organizzazioni, come noi, stanno lavorando per migliorare il sistema di revisione tra pari, facilitando il riconoscimento del lavoro dei revisori tra pari, sperimentando nuove forme di revisione tra pari, trovando modi per riutilizzare le revisioni dei documenti rifiutati e altro ancora. Quindi, quando celebriamo la settimana della revisione tra pari, ora e in futuro, cerchiamo tutti di fare della revisione tra pari qualcosa che giustifichi il piedistallo e faccia volare Chitty Chitty Bang Bang, 52 settimane all'anno.
[Didascalia immagine: Chitty Chitty Bang Bang. Conte Louis Zborowski con Chitty Bang Bang 1 a Brooklands c1921. Immagine di pubblico dominio tramite Wikipedia.]