Para celebrar la Peer Review Week, representantes de ORCID, ScienceOpen, Sense About Science y Wiley se reunieron (virtualmente) para discutir por qué la revisión por pares es importante, para ellos y para sus organizaciones, y lo que esperan lograr esta semana.
Muchas gracias a los participantes Stephanie Dawson (CEO, ScienceOpen), Chris Graf (Director de Nuevos Negocios, Innovaciones Profesionales para Asociaciones y Sociedades, Wiley), Peter Gregory (Editor en Jefe de Materiales Avanzados, Vicepresidente y Director de Publicaciones, Wiley), Laure Haak (Director ejecutivo, ORCID), Emily Jesper (Subdirectora, Sentido de la ciencia)
(De izquierda a derecha: Stephanie Dawson, Chris Graf, Peter Gregory, Laure Haak, Emily Jesper)
Stephanie Dawson (SD): Cuando comencé como gerente de revista en las editoriales De Gruyter, solía recibir tres copias de cada manuscrito, que ponía en sobres y enviaba a Japón o Argentina por correo y esperaba que el revisor de pares elegido tuviera tiempo para revisar. Mucho ha cambiado desde entonces y mucho no. Algunos revisores hicieron un trabajo extremadamente concienzudo para ayudar a los autores a mejorar sus artículos, otros enviaron un rechazo en tres líneas. Realmente vi de primera mano lo heterogéneo que podía ser el proceso y deseaba poder agradecer personalmente a cada revisor que se esforzó por ayudar realmente a sus colegas.
Con la red de investigación y publicación ScienceOpen, uno de nuestros roles distintivos, además de editor y agregador de contenido de acceso abierto (OA) Gold, es el de reformador de revisión por pares. Nuestro objetivo es aumentar la confianza en el proceso de revisión por pares haciéndolo completamente transparente. Entonces todos pueden ver (e incluso agradecer) a los revisores que están haciendo un trabajo excepcional para mejorar la calidad de la comunicación científica.
Hemos implementado un flujo de trabajo novedoso para demostrar la eficacia de un enfoque diferente de la revisión por pares y su idoneidad para el futuro digital de la comunicación académica que creemos necesitará acelerar e involucrar la publicación de muchos más objetos digitales que el artículo actual. unidad.
Chris Graf (computadora gráfica): Hablando de flujos de trabajo novedosos, personalmente estoy interesado en cómo la revisión por pares antes y después de la publicación en combinación hará un mejor sistema.
La revisión por pares previa a la publicación valida y organiza la investigación y, en general, hace un gran trabajo. Pero, seamos honestos, a veces se equivoca espectacularmente. Y ahí es donde entra en juego la revisión por pares posterior a la publicación.
La revisión por pares posterior a la publicación puede ayudar a contextualizar, seleccionar y, lo que es emocionante para mí, tal vez también brinde un punto de entrada más accesible para los lectores (por ejemplo, comentarios en PubPeer, PubMed Commons, métricas y más en Kudos, proporcionar un rumbo para los lectores y ayudar a la superficie artículos). Y, sí, la revisión por pares posterior a la publicación elimina la manzana podrida ocasional. Lo cual es importante.
Por último, debemos detenernos y pensar, y tener una discusión pública, sobre si deberíamos ver un artículo revisado por pares como absoluto, definitivo, final y 100% correcto solo porque es revisado por pares. ¿Podría ser más realista pensar en un artículo revisado por pares como un paso en un viaje de investigación (bastante tortuoso), en el que podemos esperar dar pasos en falso, tomar giros equivocados, tropezar y tomar nuevas direcciones antes de llegar a nuestro destino final? La respuesta. Muchos pasos componen ese viaje, y muchas investigaciones constituyen la evidencia que usamos para informar la práctica y la política.
Laure Haak (izq.): Estoy completamente de acuerdo con su último punto pero, en términos de validación, ¿es eso realmente lo que hace la revisión por pares? ¿Se supone que es el filtro que dice que este artículo utilizó la metodología y las estadísticas correctas (en el caso de un artículo científico) o realmente estamos buscando al revisor para evaluar el flujo lógico del artículo? Al final del día, ¿de quién es la responsabilidad si se determina que el documento es “fraudulento”? ¿Realmente podemos esperar / queremos que ese peso recaiga en el revisor?
Emily Jesper (EJ): Y para el punto de Chris sobre el papel de la revisión por pares en informar la práctica y la política, por supuesto, la revisión por pares no es solo algo de importancia para los investigadores científicos. Debido a que indica que la investigación ha sido examinada por expertos independientes en el campo, la revisión por pares es una consideración importante para los encargados de formular políticas, los periodistas y el público al sopesar las afirmaciones de las investigaciones y los debates sobre ciencia. Comprender el estado de las afirmaciones de la investigación es empoderador. Nos ayuda a sopesar las afirmaciones y utilizar pruebas para tomar decisiones. Desde que Sense About Science se estableció en 2002, hemos estado trabajando para popularizar más ampliamente la comprensión de la revisión por pares. Nuestra guía pública para la revisión por pares No sé qué creer alienta a las personas a preguntar "¿Es revisada por pares?" al sopesar afirmaciones sobre ciencia.
Pedro Gregorio (PSG): Aunque tiene razón en que la revisión por pares tiene un significado más amplio, a Wiley le importa principalmente porque es importante para la comunidad académica a la que servimos. Además de recabar opiniones y mejorar las contribuciones, la revisión por pares también proporciona, especialmente en las ciencias y la medicina, una válvula de seguridad, que evita la distribución de artículos erróneos incorrectos o incluso peligrosos.
LH: Sí, la revisión por pares es un componente fundamental de la práctica académica. Es un conjunto establecido de métodos para recopilar comentarios sobre trabajos académicos (artículos, libros, becas, programas y más) de pares, expertos en el campo, con el objetivo final de mejorar el trabajo. ORCID está interesado en la revisión por pares porque hay personas involucradas, tanto los creadores de las obras como los revisores. Estamos trabajando con la comunidad para desarrollar métodos digitales para reconocer las contribuciones de los revisores citando actividades de revisión por pares. A través de esto, esperamos alentar a los académicos a participar como revisores y también para apoyar a otros que están trabajando en temas de confianza en el proceso de revisión.
DAKOTA DEL SUR: Me encanta la idea de hacer ORCID el lugar donde los investigadores pueden registrar sus actividades de revisión. ScienceOpen está tratando de abordar esto con revisiones abiertas que tienen un DOI CrossRef registrado. Publons también está haciendo un buen trabajo en esto, así como apoyando a los revisores en revistas de revisión por pares ciegos. En los casos de revisión a ciegas, están verificando con los editores que un revisor realmente ha realizado el trabajo que afirman. En este momento, sería fácil para un investigador agregar "revisión para Nature and Cell" a su CV porque no hay forma de verificar esto en nuestro actual sistema de revisión ciega. Una vez más, la confianza y la transparencia son claves.
PSG: Espero que esta Semana de revisión por pares ayude a intensificar la discusión sobre la revisión por pares y comience a sensibilizar a los participantes (editores, autores, editores, árbitros, patrocinadores, etc.) sobre las diferencias en las formas en que se aplica la revisión por pares y es útil en diferentes comunidades. Algunas áreas recopilan opiniones, otras se basan más en hechos; algunos se benefician de la circulación preimpresa (antes de la revisión por pares y la publicación, quiero decir) algunos se ven perjudicados por ella; para algunos la revisión posterior a la publicación es innovadora, para algunos es peligrosa. Esto me lleva a la conclusión de que aquellos que trabajan para mejorar / cambiar la revisión por pares deben considerar cuidadosamente que una talla no sirve para todos.
DAKOTA DEL SUR: Estoy de acuerdo en que no habrá una solución de “talla única”, pero las diferentes comunidades también pueden aprender unas de otras, especialmente a medida que un aumento en la investigación interdisciplinaria las une. Un gran ejemplo es el servidor de preimpresión de ciencias biológicas BioRxiv, que se basa en la experiencia positiva de preimpresión de la comunidad física con arXiv. En el nuevo campo de la bioinformática, los científicos de la computación simplemente pusieron sus preprints sobre arXiv de hecho, y el investigador que viene más de las ciencias de la vida preguntó "¿qué es eso?" Entonces, algo realmente interesante es que crecí justo en esos puntos de fricción. Además, la nueva tendencia hacia megarevistas como PLoS One, SpringerOpen, Scientific Reports, requiere repensar la revisión por pares para adaptarse a una amplia gama de comunidades y todas esas revistas se han reducido a pedir a los revisores que solo revisen la solidez científica de los resultados. Entonces, esto puede darnos algunas pistas sobre lo que el denominador común de la revisión por pares puede estar avanzando.
LH: La idea de un denominador común es realmente clave y es exactamente el tipo de discusión que espero que genere la Peer Review Week: estimular y concentrar la conversación en curso sobre la revisión por pares y, al hacerlo, sacar a la luz lo que se está haciendo en la práctica para apoyar las mejoras. .
DAKOTA DEL SUR: Desde la perspectiva de ScienceOpen, esta semana de revisión por pares, queremos plantear una pregunta simple. A medida que el número de resultados de la investigación crece y se diversifica (conjuntos de datos, resultados negativos, informes de casos, preimpresiones, carteles ...), ¿la comunidad de investigadores podrá revisar todos estos objetos antes de su publicación? Creemos que no. No hay suficiente tiempo en el día, dinero para pagarlo o incluso ganas de hacerlo ahora. ¿Serán útiles estos resultados? Absolutamente, si tenemos una forma poderosa de encontrarlos y filtrarlos en función de los parámetros que los lectores encuentran útiles y los autores encuentran gratificante. Por ejemplo:
- ¿Qué piensan mis compañeros de esta información?
- ¿Tiene alguna actualización?
- ¿Qué impacto tuvo en el mundo y quién lo notó?
- ¿Qué trabajo merece la pena destacar en un campo específico?
- ¿Cuántas veces se citó y dónde?
- Si me tomé el tiempo de revisarlo, ¿se puede encontrar y citar mi contribución?
- ¿Estos esfuerzos mejorarán mis perspectivas profesionales?
- ¿Cuántas veces se citó y dónde?
Ninguna de estas preguntas válidas se ve afectada por una evolución que se aleje de la revisión por pares anónima ciega o doble ciego, aparte de la velocidad con la que podemos responderlas. Los procesos transparentes y las herramientas web simples pueden filtrar más rápido, mejor y más barato que las revistas y la revisión por pares previa a la publicación.
Es por eso que en ScienceOpen hemos desarrollado sistemas para la revisión por pares posterior a la publicación; Control de versiones; Asignación DOI; Métricas del artículo; Colecciones; Open Citation Information y más: para demostrar una forma diferente (y argumentaríamos mejor) hacia adelante.
LH: No estoy seguro de estar de acuerdo con que la revisión por pares sea insostenible. Estoy pensando que si nosotros, la comunidad, brindamos orientación sobre lo que significa la revisión por pares de ciertos tipos de contenido, entonces podríamos estar bien encaminados para respaldar la revisión de un conjunto más amplio de resultados. Necesitamos abordar preguntas como, ¿quién es responsable del contenido? ¿Cuál es el rol del autor / asesor / empleador / editor / revisor? Esto es fundamental. Parte de este contenido "nuevo", como los conjuntos de datos, puede requerir que un revisor verifique si los metadatos son suficientemente descriptivos y si el depósito / acceso / conservación a largo plazo de los datos se contabiliza según el plan de gestión de datos. Y aunque me gustan sus sugerencias para encontrar y filtrar los resultados de la investigación, nada de esto es relevante si el conjunto de datos (por ejemplo) está en un lápiz de datos en el cajón de alguien. Un revisor de pares puede ser un componente crítico para garantizar que los conjuntos de datos se conserven y la vía de acceso se describa de manera persistente para que sea citable. Lo mismo ocurre con otros tipos de salidas.
DAKOTA DEL SUR: Hay muchas editoriales y organizaciones que están reconsiderando lo que realmente debería lograr la revisión por pares y creando nuevos servicios para respaldar eso, a veces incluso demasiados desde el punto de vista del académico que puede sentirse abrumado por las nuevas definiciones y opciones. También creo que es importante durante esta Semana de revisión por pares demostrar cómo las innovaciones en este campo se construyen realmente para apoyar a los revisores y el fantástico trabajo que están haciendo. Así que espero que esta semana veamos el reconocimiento de los nuevos modelos de Peer Review que existen hoy, demostrados por pequeñas organizaciones de nueva creación, como ScienceOpen y The Winnower y otras como F1000Research y PeerJ. Y que las discusiones sobre Peer Review ya han ido más allá de las interesantes conversaciones entre académicos para involucrar a los desarrolladores y editores de software que trabajan en entidades principalmente comerciales que son buenas para hacer de la innovación una realidad.
Sin embargo, la pregunta abierta sigue siendo "¿puede la comunidad científica aprovechar estas nuevas oportunidades porque el lugar donde publica un investigador todavía está relacionado con el impacto de los resultados de la investigación en términos de progresión profesional?". Romper el control del factor de impacto no es tarea fácil. Pero cualquier sistema nuevo deberá cumplir con los criterios de confianza y transparencia.
LH: No creo que el problema sea el factor de impacto. Creo que el objetivo de esta semana es adoptar la Peer Review en toda su diversidad y trabajar para comprender su función central en el discurso académico. Para el punto anterior de Chris, la revisión por pares es parte de un viaje. Diferentes disciplinas, diferentes temas se beneficiarán de diferentes sabores, todos buenos. Centrémonos en el proceso en sí, y no tanto en el contenedor (por ejemplo, plataforma de diario / servicio).
EJ: Y tampoco olvidemos que el público necesita saber acerca de la revisión por pares, por lo que los científicos y los editores deben hablar al respecto. La Semana de la revisión por pares es una gran oportunidad para que los investigadores se detengan y reflexionen sobre el papel más amplio que desempeña la revisión por pares en la sociedad para mantener la calidad de la ciencia y compartirla más ampliamente. Espero especialmente que escuchemos a los investigadores que inician su carrera acerca de por qué la revisión por pares es importante para ellos y que reconozcamos más este papel vital y voluntario que desempeñan los investigadores. También les dará a los investigadores la oportunidad de conocer los fantásticos recursos, talleres y oportunidades de capacitación disponibles en la revisión por pares.