La publicación científica se encuentra en un pedestal: la sociedad ve los informes científicos como la aproximación más cercana a la Verdad que tenemos. Los propios científicos saben que la ciencia es un intento de converger, durante décadas, en una interpretación que se mide y se demuestra que es la menos errónea. La verdad está ahí fuera, pero solo podemos esperar ver su sombra.
No obstante, espero desesperadamente que la publicación científica continúe estando en su plataforma elevada. Sin eso, todo lo que la sociedad tiene es la cacofonía "justa y equilibrada" de Internet, donde todos elegirán la charlatanería y la pseudociencia que mejor se adapte a su calcificación particular de opinión.
Sin embargo, si bien la ciencia puede estar en su pedestal para el público, en realidad es un automóvil mágico conducido por editores e impulsado por la revisión de pares: ¡Chitty Chitty Bang Bang!
En la medida de sus posibilidades, los editores y revisores deben establecer que lo que se informa como ciencia sigue una metodología sólida, de modo que pueda ser verificado de forma independiente, y que las conclusiones presentadas se derivan de manera justificada de los datos y análisis utilizados. Los editores y revisores también deben establecer que lo que se informa como ciencia es importante y que vale la pena su tiempo y atención como lector.
Existe una clara disonancia en la comunidad académica: por un lado, las encuestas muestran que existe un amplio consenso entre los científicos de que la revisión por pares es la piedra angular de la publicación académica; por otro lado, también existe una percepción generalizada de que la revisión por pares no cumple con lo que se espera de ella y, de hecho, a veces puede causar problemas. La capacidad del sistema tradicional de revisión por pares para ofrecer lo que se espera de él en la actualidad se ve cada vez más cuestionada.
En el espíritu de la Peer Review Week 2015 que, además de celebrar la revisión por pares y reconocer la gran cantidad de tiempo que los investigadores dedican a ella, también es una oportunidad para que la comunidad debata qué está funcionando y qué no, me gustaría destaque algunos de los desafíos, los ruidos molestos del título, y algunas posibles soluciones.
La revisión por pares y el deslizamiento gradual hacia abajo en la escalera del prestigio de la revista, un rechazo a la vez, crea un importante retraso para la publicación. Además del tiempo dedicado a revisar las presentaciones que son aceptadas, los científicos tal vez inviertan 15 millón de horas revisar cada año las presentaciones que son rechazadas; no es una pérdida de tiempo porque significa que los filtros funcionan (si la revisión por pares siempre lleva a la aceptación, sería una falla miserable para el sistema), pero en muchos casos los informes podrían usarse para respaldar un decisión positiva en otra revista. La revisión por pares está abierta a el riesgo de sesgo - Es irrelevante si la nacionalidad, el prestigio institucional, el género, las relaciones personales u otras cuestiones afectan realmente una determinada revisión por pares y una decisión de publicación. La verdadera pregunta es: ¿puede el autor confiar plenamente en que no lo afectarán? Solicitar revisiones por pares y perseguir plazos incumplidos se ha convertido en una carga de proporciones tontas para las oficinas editoriales, lo que le quita tiempo a la verdadera administración científica de los objetivos y el alcance de la revista. Y la revisión por pares está abierta al riesgo de fraude total: en el último año, se han retirado decenas de artículos debido a revisiones fraudulentas por pares.
Pero, para mí, el más importante de estos desafíos es la erosión de la confiabilidad. La calidad de la revisión por pares simplemente varía demasiado, sin una evaluación efectiva de esa calidad y sin procedimientos para aplicar esas evaluaciones en las decisiones de publicación.
Bajo el sistema actual, podría decirse que hay pocos incentivos para que un investigador dedique una inversión significativa de tiempo y toda su atención y experiencia a una tarea de revisión por pares. Creo que la falta de reconocimiento para la revisión por pares, y el tiempo que lleva, significa que muchos científicos se contentan con hacerlo rápido, no con cuidado. Sin embargo, una revisión por pares buena o mala puede decidir literalmente el destino de toda la carrera de un investigador joven. ¿Cuántos jóvenes brillantes ha perdido la ciencia, simplemente porque una revisión por pares apresurada y descuidada impidió la publicación de un manuscrito importante justo antes de una fecha límite crucial para la subvención, lo que los llevó a darse por vencidos?
Me perdió un poco. Pero todavía amo a Chitty Chitty Bang Bang.
De ahí mi nuevo trabajo: construir una refinería para desarrollar un combustible de mayor octanaje.
At Nobleza de la ciencia Estamos adoptando un enfoque doble para mejorar la revisión por pares (ninguno de los cuales es propietario, por lo que nada impide que las revistas que no usan Peerage of Science las implementen por sí mismas.
Primero, participación abierta: siempre que su identidad y calificación hayan sido validadas por una fuente externa confiable y no esté afiliado con los autores a través de una institución o coautoría reciente, puede participar para la revisión por pares de cualquier manuscrito. Los editores pueden recomendar revisores, pero no tienen el derecho exclusivo de hacerlo: cualquier par, incluidos los autores, puede recomendar a cualquier otra persona. En segundo lugar, las revisiones en sí mismas son revisadas por pares ("revisión por pares de revisión por pares"). Esto crea una presión social muy efectiva para que los investigadores dediquen más tiempo y esfuerzo a realizar el trabajo de revisión por pares con cuidado. Además, el enfoque predeterminado del anonimato en Nobleza de la ciencia es triple ciego, lo que significa que los argumentos de todos (autores, revisores, editores) deben basarse en sus propios méritos científicos, afectados lo menos posible por sesgos en contra o a favor de factores personales. Sin embargo, si bien este es el valor predeterminado, en lugar de exigir una vista en particular, Nobleza de la ciencia permite que el autor elija.
Como organización miembro de ORCID, Peerage of Science también espera apoyar los nuevos registros estandarizados, citables y resolubles para el trabajo de revisión por pares en ORCID perfiles. Es importante que el trabajo de revisión por pares sea reconocido de una manera que tenga en cuenta la calidad del trabajo, y tener un registro autorizado que esté vinculado a los resultados de la evaluación cruzada y la retroalimentación es una forma prometedora de hacer que esto suceda.
Muchas otras organizaciones, como nosotros, están trabajando para mejorar el sistema de revisión por pares, ya sea facilitando el reconocimiento del trabajo de los revisores por pares, experimentando con nuevas formas de revisión por pares, encontrando formas de reutilizar revisiones de artículos rechazados y más. Por lo tanto, cuando celebremos la Semana de la revisión por pares, ahora y en el futuro, intentemos que la revisión por pares sea algo que justifique el pedestal y mantenga a Chitty Chitty Bang Bang volando, 52 semanas al año.
[Pie de foto: Chitty Chitty Bang Bang. Conde Louis Zborowski con Chitty Bang Bang 1 en Brooklands c1921. Imagen de dominio público a través de Wikipedia.]