L'édition scientifique repose sur un piédestal – la société considère les rapports scientifiques comme l'approximation la plus proche de la vérité dont nous disposons. Les scientifiques eux-mêmes savent que la science est une tentative de converger, au fil des décennies, vers une interprétation mesurée et avérée la moins fausse. La vérité est là, mais nous ne pouvons qu'espérer voir son ombre.
Néanmoins, j'espère désespérément que l'édition scientifique continue de se tenir sur sa plate-forme élevée. Sans cela, la société n'a que la cacophonie «juste et équilibrée» d'Internet, où chacun choisira le charlatanisme et la pseudoscience qui conviennent le mieux à sa calcification d'opinion.
Cependant, alors que la science peut se tenir sur son piédestal pour le public, il s'agit en réalité d'une voiture magique conduite par des éditeurs et alimentée par un examen par les pairs - Chitty Chitty Bang Bang !
Au mieux de leurs capacités, les éditeurs et les pairs examinateurs doivent établir que ce qui est rapporté comme scientifique suit une méthodologie solide, de sorte qu'il puisse être vérifié de manière indépendante, et que les conclusions présentées découlent à juste titre des données et de l'analyse utilisées. Les rédacteurs en chef et les pairs examinateurs doivent également établir que ce qui est signalé comme scientifique est important et mérite votre temps et votre attention en tant que lecteur.
Il existe une nette dissonance au sein de la communauté universitaire : d'une part, les enquêtes montrent qu'il existe un large consensus parmi les scientifiques sur le fait que l'évaluation par les pairs est la pierre angulaire de l'édition universitaire ; d'autre part, il existe également une perception répandue selon laquelle l'examen par les pairs ne répond pas à ce que l'on attend d'eux et peut en fait parfois causer des problèmes. La capacité du système traditionnel d'examen par les pairs à fournir ce que l'on attend de lui aujourd'hui est de plus en plus remise en question.
Dans l'esprit de la Semaine de l'évaluation par les pairs 2015, qui, en plus de célébrer l'évaluation par les pairs et de reconnaître le temps considérable que les chercheurs y consacrent, est également l'occasion pour la communauté de débattre de ce qui fonctionne et de ce qui ne fonctionne pas, j'aimerais mettre en évidence certains des défis - les bruits gênants du titre - et quelques solutions potentielles.
L'examen par les pairs et la descente progressive de l'échelle de prestige de la revue, un rejet à la fois, créent des délai de publication. En plus du temps consacré à l'examen des soumissions qui sont acceptées, les scientifiques passent peut-être 15 millions d'heures chaque année, examiner les soumissions qui sont rejetées - ce n'est pas du temps perdu car cela signifie que les filtres fonctionnent (si l'examen par les pairs conduisait toujours à l'acceptation, ce serait un échec lamentable pour le système), mais dans de nombreux cas, les rapports pourraient être utilisés pour soutenir un décision positive dans un autre journal. L'examen par les pairs est ouvert à le risque de biais – la question de savoir si la nationalité, le prestige institutionnel, le sexe, les relations personnelles ou d'autres questions affectent réellement un examen par les pairs et une décision de publication n'a pas d'importance. La vraie question est : l'auteur peut-il avoir pleinement confiance qu'il ne l'affectera pas ? Solliciter des évaluations par les pairs et courir après des délais non respectés est devenu un fardeau aux proportions idiotes pour les bureaux de rédaction, grugeant du temps à la véritable gérance scientifique des objectifs et de la portée de la revue. Et l'examen par les pairs est ouvert au risque de fraude pure et simple: au cours de la dernière année, des dizaines d'articles ont été retirés en raison d'une évaluation frauduleuse par les pairs.
Mais, pour moi, le plus important de ces défis est l'érosion de la fiabilité. La qualité de l'examen par les pairs varie tout simplement trop, sans aucune évaluation efficace de cette qualité et des procédures pour amener ces évaluations à influer sur les décisions de publication.
Dans le système actuel, il y a sans doute peu d'incitations pour un chercheur à investir beaucoup de temps et à consacrer toute son attention et son expertise à une tâche d'examen par les pairs. Je crois que le manque de reconnaissance de l'examen par les pairs – et le temps que cela prend – signifie que de nombreux scientifiques se contentent de le faire rapidement, sans précaution. Pourtant, une bonne ou une mauvaise évaluation par les pairs peut littéralement décider du sort de toute la carrière d'un jeune chercheur. Combien de jeunes brillants la science a-t-elle perdu, simplement parce qu'un examen par les pairs hâtif et négligent a empêché la publication d'un manuscrit important juste avant une date limite cruciale de subvention, les incitant à abandonner ?
Ça m'a un peu perdu. Mais j'aime toujours Chitty Chitty Bang Bang.
D'où mon nouveau travail : construire une raffinerie pour développer un carburant à indice d'octane plus élevé.
At Pairie de la science nous adoptons une approche à deux volets pour améliorer l'évaluation par les pairs (dont aucune n'est propriétaire, donc rien n'empêche les revues qui n'utilisent pas Peerage of Science de les mettre en œuvre elles-mêmes à la place.
Tout d'abord, un engagement ouvert - tant que votre identité et votre qualification ont été validées par une source externe digne de confiance et que vous n'êtes pas affilié aux auteurs via une institution ou une co-auteur récente, vous pouvez vous engager à réviser n'importe quel manuscrit. Les éditeurs sont invités à recommander des évaluateurs, mais ne détiennent pas le droit exclusif de le faire - tout pair, y compris les auteurs, peut recommander n'importe qui d'autre. Deuxièmement, les évaluations elles-mêmes sont évaluées par des pairs (« peer-review-of-peer-review »). Cela crée une pression sociale très efficace pour que les chercheurs consacrent plus de temps et d'efforts à un travail d'évaluation par les pairs avec soin. De plus, l'approche par défaut de l'anonymat dans Peerage of Science est en triple aveugle, ce qui signifie que les arguments de chacun - auteurs, réviseurs, éditeurs - doivent reposer sur leur propre mérite scientifique, affecté le moins possible par des préjugés contre ou pour des facteurs personnels. Cependant, bien qu'il s'agisse de la valeur par défaut, plutôt que d'imposer un point de vue particulier, Peerage of Science laisse le choix à l'auteur.
En tant qu'organisation membre de ORCID, Peerage of Science est également impatient de soutenir les nouveaux dossiers normalisés, citables et résolubles pour les travaux d'examen par les pairs dans ORCID profils. Il est important que le travail d'évaluation par les pairs soit reconnu d'une manière qui tienne compte de la qualité du travail, et avoir un dossier faisant autorité qui est lié aux résultats des évaluations croisées et aux commentaires est un moyen prometteur d'y parvenir.
De nombreuses autres organisations travaillent, comme nous, à l'amélioration du système d'évaluation par les pairs, que ce soit en facilitant la reconnaissance du travail des évaluateurs, en expérimentant de nouvelles formes d'évaluation par les pairs, en trouvant des moyens de réutiliser les évaluations des articles rejetés, etc. Ainsi, lors de la célébration de la Semaine de l'évaluation par les pairs - maintenant et à l'avenir - essayons tous de faire de l'évaluation par les pairs quelque chose qui justifie le piédestal et qui permet à Chitty Chitty Bang Bang de voler, 52 semaines chaque année.
[Légende de l'image : Chitty Chitty Bang Bang. Comte Louis Zborowski avec Chitty Bang Bang 1 à Brooklands c1921. Image du domaine public via Wikipedia.]