Peer review van wetenschappelijk onderzoek vormt de kern van het publiceren. Het is belangrijk dat dit proces niet wordt bezoedeld door vooringenomenheid van de beoordelaars. Er bestaan twee populaire vormen van beoordeling. Bij single-blind peer review weten de auteurs niet wie de reviewers zijn. De recensenten weten wie de auteurs zijn. Bij dubbelblinde peer review kennen noch de auteurs noch de reviewers elkaars namen. Enkelblinde peer review is het traditionele model. Beide modellen bestaan echter om bias in peer review weg te nemen.
The Physics Experiment
Aan het begin van 2017 gaf het Institute of Physics (IOP) auteurs de optie om te kiezen voor dubbelblinde peer review. Deze optie was beschikbaar voor Materials Research Express en Biomedical Physics & Engineering Express. In de eerste zeven maanden koos 20% van de auteurs voor de optie van dubbelblinde peer review. Auteurs uit India, Afrika en het Midden-Oosten vroegen het vaakst om deze optie.
IOP-gegevens wijzen uit dat meer papers werden afgewezen in het dubbelblinde model. Ongeveer 70% van de papers werd afgewezen in het dubbelblinde peer review-proces. Daarentegen werd slechts 50% van de papers afgewezen bij de enkelblinde collegiale toetsing. Dit verschil kan te wijten zijn aan het feit dat de beoordelaars ervan uitgingen dat auteurs die om deze optie vroegen, slechte papers hadden geschreven. Het kan ook te wijten zijn aan het feit dat de beoordelaars objectiever te werk zijn gegaan. De auteurs in de dubbelblinde proef waren echter tevreden en vonden dat het de eerlijkste aanpak was.
Bias in peer review is een reëel probleem. Er zijn veel studies die aantonen dat vrouwen en minderheden minder kans hebben om gepubliceerd, gefinancierd of gepromoveerd te worden. Deze vooringenomenheid kan zowel bewust als onbewust zijn. Binnen wetenschappelijke publicaties betekent dit dat minder vrouwen wordt gevraagd papers te beoordelen. Het betekent ook dat papers van vrouwen minder worden geciteerd. Er zijn twee peer review modellen waarbij identiteiten verborgen worden gehouden. Welk model heeft meer kans om bias weg te nemen?
Double-Blind vs. Single-Blind Peer Review
De 2017 Web Search and Data Mining conferentie bood een goede gelegenheid om deze theorie te experimenteren. In de informatica verschijnen papers vaak eerst (of uitsluitend) in peer-reviewed conferenties. De programmacommissie besloot haar reviewers willekeurig op te splitsen in twee groepen. Eén groep zou dienen als dubbelblinde peer reviewers. De andere als single-blind peer reviewers. Het experiment zou helpen beslissen welke aanpak meer bias zou hebben.
De auteurs vonden dat er verschillen waren tussen de reviewgroepen. Alle reviewers hadden toegang tot de titels en samenvattingen van de artikelen. Op basis hiervan gaven de reviewers aan welke papers zij wilden reviewen. De single-blind reviewers vroegen 22% minder papers te reviewen. Single-blind reviewers kozen ook vaker papers van topuniversiteiten of IT-bedrijven om te reviewen. Ze gaven ook vaker een positieve beoordeling aan papers met een beroemde auteur.
Single-blind reviewers hebben toegang tot de namen en instellingen van de auteurs. De studie geeft aan dat de instelling van de auteur een significante invloed had op de beslissingen van de single-blind reviewers om op een artikel te bieden. Er was geen bias tegen vrouwelijke auteurs voor deze conferentie. Een metareview waarin de gegevens van deze conferentie werden gecombineerd met andere studies gaf aan dat er een significante bias was tegen vrouwelijke auteurs.
Het experiment met de Web Search and Data Mining conferentie toont aan dat single-blind reviewers informatie over auteurs en instellingen gebruiken in hun reviews. Het zou kunnen dat deze informatie de recensenten helpt een beter oordeel te vellen. Het kan ook zijn dat werk van niet-belangrijke instellingen en auteurs hierdoor benadeeld wordt. Twee gelijkwaardige papers kunnen door single-blind reviewers verschillend worden beoordeeld op basis van wie de paper heeft geschreven.
A Review of Peer Review
Aan de andere kant geeft double-blind peer review een vals gevoel van veiligheid. Bekende auteurs kunnen gemakkelijk worden geïdentificeerd door de aard van hun werk. Het artikel kan ook verwijzen naar eerder werk dat zij hebben gepubliceerd. Er kunnen ook andere aanwijzingen zijn, zoals een voorkeur voor een techniek of verbinding. Dit betekent dat beoordelaars zelfs zonder de namen kunnen achterhalen wie een artikel heeft geschreven. Het zou daarom beter zijn de reviewer te vertellen wie het artikel heeft geschreven en te vragen of er sprake is van belangenverstrengeling.
Het feitelijke proces van het verwijderen van auteursinformatie om de identiteit te verbergen mislukt 46-73% van de tijd. Het probleem is niet het identificeren van de auteur. Het probleem is of recensenten een vooroordeel hebben tegen auteurs uit een bepaald land, van een bepaald ras, of van een bepaald geslacht? Terwijl de aandacht vooral is uitgegaan naar recensenten, is er heel weinig discussie over de vooroordelen van redacteuren. Redacteuren hebben immers het laatste woord.
Peer review maakt deel uit van de academische onderzoekscyclus en het is duidelijk dat er in dit proces sprake is van bias. De vooringenomenheid van beoordelaars treft vaak vrouwen, minderheden en onderzoekers van niet-preferentiële instellingen. Om dit probleem te bestrijden, maken tijdschriften gebruik van blinde peer review. Echter, single-blind peer review geeft het voordeel aan bekende auteurs. Dubbelblinde peer review elimineert de vooroordelen wellicht niet echt, en daarom vinden onderzoekers dat het beter is over te schakelen op open peer review.
