L’examen par les pairs de la recherche universitaire est au cœur de la publication. Il est important que ce processus ne soit pas entaché de partialité des examinateurs. Il existe deux modes d’examen populaires. Dans l’évaluation par les pairs en simple aveugle, les auteurs ne savent pas qui sont les évaluateurs. Les réviseurs savent qui sont les auteurs. Dans l’examen par les pairs en double aveugle, ni les auteurs ni les examinateurs ne connaissent le nom des autres. L’examen par les pairs en simple aveugle est le modèle traditionnel. Cependant, les deux modèles existent pour éliminer les biais dans l’examen par les pairs.
L’expérience de la physique
Au début de 2017, l’Institute of Physics (IOP) a donné aux auteurs la possibilité de choisir l’examen par les pairs en double aveugle. Cette option était disponible pour Materials Research Express et Biomedical Physics & Engineering Express. Au cours des sept premiers mois, 20 % des auteurs ont choisi l’option d’examen par les pairs en double aveugle. Les auteurs d’Inde, d’Afrique et du Moyen-Orient étaient les plus susceptibles de demander cette option.
Les données de l’IOP indiquent que davantage d’articles ont été rejetés dans le cadre du modèle en double aveugle. Environ 70% des articles ont reçu un rejet dans le processus d’évaluation par les pairs en double aveugle. En revanche, seuls 50% des articles ont été rejetés dans le cadre d’un examen par les pairs en simple aveugle. Cette différence pourrait être due au fait que les évaluateurs ont supposé que les auteurs qui demandaient cette option avaient rédigé des articles de mauvaise qualité. Elle pourrait également être due au fait que les évaluateurs agissent de manière plus objective. Cependant, les auteurs de l’essai en double aveugle étaient satisfaits et estimaient qu’il s’agissait de l’approche la plus équitable.
Les préjugés dans l’évaluation par les pairs sont un véritable problème. De nombreuses études montrent que les femmes et les minorités ont moins de chances d’être publiées, financées ou promues. Ce parti pris peut être à la fois conscient et inconscient. Dans l’édition scientifique, cela signifie que moins de femmes sont invitées à évaluer des articles. Cela signifie également que les articles rédigés par des femmes sont moins cités. Il existe deux modèles d’évaluation par les pairs où les identités sont cachées. Lequel est le plus susceptible de se débarrasser des préjugés ?
L’examen par les pairs en double aveugle ou en simple aveugle
La conférence 2017 sur la recherche sur le Web et l’exploration des données a fourni une bonne occasion d’expérimenter cette théorie. En informatique, les articles paraissent souvent d’abord (ou exclusivement) dans des conférences à comité de lecture. Le comité de programme a décidé de diviser aléatoirement ses examinateurs en deux groupes. L’un servirait d’examinateur en double aveugle. L’autre en tant qu’évaluateurs en simple aveugle. L’expérience devait permettre de déterminer quelle approche pouvait présenter le plus de biais.
Les auteurs ont constaté des différences entre les groupes d’examinateurs. Tous les examinateurs avaient accès aux titres et aux résumés des articles. Sur cette base, les examinateurs ont indiqué les articles qu’ils souhaitaient examiner. Les examinateurs en simple aveugle ont demandé à examiner 22% moins d’articles. Les examinateurs en simple aveugle étaient également plus susceptibles de choisir des articles provenant d’universités ou de sociétés informatiques de premier plan. Ils étaient également plus susceptibles de donner une évaluation positive aux articles avec un auteur célèbre.
Les évaluateurs en simple aveugle ont accès aux noms et aux institutions des auteurs. L’étude indique que l’institution de l’auteur avait une influence significative sur les décisions des examinateurs en simple aveugle de soumissionner pour un article. Aucun biais n’a été détecté à l’encontre des auteurs féminins pour cette conférence. Une métarevue combinant les données de cette conférence avec d’autres études a indiqué qu’il y avait un biais significatif contre les auteurs féminins.
L’expérience de la conférence Web Search and Data Mining montre que les évaluateurs en simple aveugle utilisent des informations sur les auteurs et les institutions dans leurs évaluations. Il se pourrait que ces informations aident les évaluateurs à faire de meilleurs jugements. Il se peut également que cela désavantage les travaux d’institutions et d’auteurs non prestigieux. Deux articles de valeur égale peuvent être évalués différemment par les examinateurs en simple aveugle en fonction de l’auteur de l’article.
A Review of Peer Review
D’autre part, l’examen par les pairs en double aveugle donne un faux sentiment de sécurité. Les auteurs bien connus peuvent être facilement identifiés par la nature de leur travail. L’article peut également faire référence à des travaux antérieurs qu’ils ont publiés. Il peut également y avoir d’autres indices, comme une préférence pour une technique ou un composé. Cela signifie que, même sans les noms, les évaluateurs peuvent déterminer qui a écrit un article. Il serait donc préférable de dire à l’examinateur qui a écrit l’article et de lui demander s’il y a un conflit d’intérêts.
Le processus réel de suppression des informations sur les auteurs pour cacher l’identité échoue dans 46 à 73% des cas. Le problème n’est pas d’identifier l’auteur. Le problème est de savoir si les réviseurs ont un préjugé contre les auteurs d’un certain pays, d’une certaine race ou d’un certain sexe ? Alors que l’accent a été mis principalement sur les réviseurs, il y a très peu de discussions sur les préjugés des éditeurs. Les éditeurs, après tout, ont le dernier mot.
L’évaluation par les pairs fait partie du cycle de recherche universitaire et il est clair qu’il existe des préjugés dans ce processus. Les préjugés des examinateurs touchent souvent les femmes, les minorités et les chercheurs d’institutions non prestigieuses. Afin d’essayer de lutter contre ce problème, les revues utilisent l’évaluation par les pairs en aveugle. Cependant, l’examen par les pairs en simple aveugle donne l’avantage aux auteurs connus. L’examen par les pairs en double aveugle peut ne pas réellement éliminer les préjugés, c’est pourquoi les chercheurs estiment qu’il est préférable de passer à un examen par les pairs ouvert.
