Peer review af akademisk forskning er kernen i udgivelser. Det er vigtigt, at denne proces ikke er behæftet med en skævhed hos bedømmerne. Der findes to populære former for gennemgang. Ved peer review i enkeltblind form ved forfatterne ikke, hvem bedømmerne er. Bedømmerne ved, hvem forfatterne er. Ved dobbeltblind peer review kender hverken forfattere eller bedømmere hinandens navne. Single-blind peer review er den traditionelle model. Begge modeller findes dog for at eliminere bias i peer review.
The Physics Experiment
I begyndelsen af 2017 gav Institute of Physics (IOP) forfatterne mulighed for at vælge dobbeltblind peer review. Denne mulighed var tilgængelig for Materials Research Express og Biomedical Physics & Engineering Express. I løbet af de første syv måneder valgte 20 % af forfatterne den dobbeltblindede peer review-mulighed. Forfattere fra Indien, Afrika og Mellemøsten var mest tilbøjelige til at anmode om denne mulighed.
IOP-data viser, at flere artikler fik afslag under den dobbeltblindede model. Omkring 70 % af artiklerne fik en afvisning i den dobbeltblindede peer review-proces. På den anden side blev kun 50 % af artiklerne afvist i forbindelse med peer review i enkeltblind. Forskellen kan skyldes, at bedømmerne antog, at forfattere, der anmodede om denne mulighed, havde skrevet dårlige artikler. Det kan også skyldes, at bedømmerne handler mere objektivt. Forfatterne i det dobbeltblindede forsøg var imidlertid tilfredse og mente, at det var den mest retfærdige fremgangsmåde.
Bias i peer review er et reelt problem. Der har været mange undersøgelser, der viser, at kvinder og minoriteter har mindre sandsynlighed for at blive offentliggjort, finansieret eller forfremmet. Denne skævhed kan være både bevidst og ubevidst. Inden for videnskabelig udgivelse betyder det, at færre kvinder bliver bedt om at gennemgå artikler. Det betyder også, at artikler af kvinder citeres mindre. Der findes to peer review-modeller, hvor identiteterne er skjulte. Hvilken af dem har størst sandsynlighed for at slippe af med skævheder?
Double-Blind vs. Single-Blind Peer Review
Ved konferencen Web Search and Data Mining 2017 var der en god mulighed for at eksperimentere med denne teori. Inden for datalogi udkommer artikler ofte først (eller udelukkende) på peer-reviewede konferencer. Programkomitéen besluttede at opdele sine bedømmere tilfældigt i to grupper. Den ene ville fungere som dobbeltblind peer reviewers. Den anden som enkeltblind peer reviewere. Eksperimentet skulle hjælpe med at afgøre, hvilken tilgang der kunne have mere skævhed.
Forfatterne fandt, at der var forskelle mellem bedømmelsesgrupperne. Alle bedømmere havde adgang til papirtitler og resuméer. På baggrund heraf angav anmelderne, hvilke artikler de ønskede at gennemgå. De enkeltblindede reviewere anmodede om at gennemgå 22 % færre artikler. Enkeltblinde bedømmere var også mere tilbøjelige til at vælge artikler fra topuniversiteter eller it-virksomheder til bedømmelse. De var også mere tilbøjelige til at give en positiv anmeldelse til artikler med en berømt forfatter.
Enkelblindanmeldere har adgang til forfatternes navne og institutioner. Undersøgelsen viser, at forfatterinstitutionen havde en betydelig indflydelse på single-blind-reviewers beslutninger om at byde ind på en artikel. Der blev ikke påvist nogen skævhed over for kvindelige forfattere til denne konference. Et metareview, der kombinerede denne konferences data med andre undersøgelser, viste, at der var en signifikant bias mod kvindelige forfattere.
Ved eksperimentet på konferencen Web Search and Data Mining vises det, at single-blind reviewers bruger oplysninger om forfattere og institutioner i deres anmeldelser. Det kan være, at disse oplysninger hjælper anmelderne til at foretage bedre vurderinger. Det kunne også være, at dette stiller værker fra ikke-prestige institutioner og forfattere ringere. To artikler af samme værdi kan blive vurderet forskelligt af enkeltblindede bedømmere på baggrund af, hvem der har skrevet artiklen.
A Review of Peer Review
På den anden side giver dobbeltblind peer review en falsk følelse af sikkerhed. Velkendte forfattere kan let identificeres på baggrund af arten af deres arbejde. Der kan også i artiklen henvises til tidligere arbejde, som de har offentliggjort. Der kan også være andre ledetråde, f.eks. en præference for en teknik eller et stof. Det betyder, at selv uden navnene kan bedømmere regne ud, hvem der har skrevet en artikel. Det vil derfor være bedre at fortælle anmelderen, hvem der har skrevet papiret, og spørge, om der er en interessekonflikt.
Den faktiske proces med at fjerne forfatteroplysninger for at skjule identitet mislykkes i 46-73 % af tilfældene. Problemet er ikke at identificere forfatteren. Problemet er, om bedømmere har fordomme mod forfattere fra et bestemt land, en bestemt race eller et bestemt køn? Mens fokus hovedsageligt har været på anmeldere, er der meget lidt diskussion om redaktørers fordomme. Redaktørerne har trods alt det sidste ord.
Peer review er en del af den akademiske forskningscyklus, og det er klart, at der er fordomme i denne proces. Reviewerbias rammer ofte kvinder, minoriteter og forskere fra ikke-prestiøse institutioner. For at forsøge at bekæmpe dette problem anvender tidsskrifter blind peer review. Enkeltblind peer review giver imidlertid kendte forfattere en fordel. Dobbeltblind peer review eliminerer måske ikke nødvendigvis skævheder, og derfor mener forskerne, at det er bedre at gå over til åben peer review.
