Peer review av akademisk forskning är kärnan i publicering. Det är viktigt att denna process inte är färgad av granskarens partiskhet. Det finns två populära metoder för granskning. Vid enkelblind expertgranskning vet författarna inte vilka granskarna är. Granskarna vet vilka författarna är. Vid dubbelblind granskning känner varken författare eller granskare till varandras namn. Enkelblind granskning är den traditionella modellen. Båda modellerna finns dock för att eliminera bias i peer review.
The Physics Experiment
I början av 2017 gav Institute of Physics (IOP) författarna möjlighet att välja dubbelblind peer review. Detta alternativ var tillgängligt för Materials Research Express och Biomedical Physics & Engineering Express. Under de första sju månaderna valde 20 % av författarna alternativet dubbelblind expertgranskning. Författare från Indien, Afrika och Mellanöstern var mest benägna att begära alternativet.
IOP-data visar att fler artiklar fick avslag under den dubbelblinda modellen. Ungefär 70 % av artiklarna fick ett avslag i den dubbelblinda peer review-processen. Å andra sidan fick endast 50 % av artiklarna ett avslag vid enkelblind granskning. Skillnaden kan bero på att granskarna antog att författare som begärde detta alternativ hade skrivit dåliga artiklar. Det kan också bero på att granskarna agerar mer objektivt. Författarna i det dubbelblinda försöket var dock nöjda och ansåg att det var det mest rättvisa tillvägagångssättet.
Bias i peer review är ett verkligt problem. Det har gjorts många studier som visar att kvinnor och minoriteter har lägre sannolikhet att bli publicerade, finansierade eller befordrade. Denna bias kan vara både medveten och omedveten. Inom vetenskaplig publicering innebär detta att färre kvinnor ombeds att granska artiklar. Det innebär också att kvinnors artiklar citeras i mindre utsträckning. Det finns två modeller för expertgranskning där identiteterna är dolda. Vilken av dem har störst sannolikhet att göra sig av med fördomar?
Double-Blind vs Single-Blind Peer Review
Till konferensen Web Search and Data Mining 2017 fanns ett bra tillfälle att experimentera med den här teorin. Inom datavetenskap publiceras artiklar ofta först (eller uteslutande) i peer-reviewed konferenser. Programkommittén beslutade att slumpmässigt dela upp sina granskare i två grupper. Den ena skulle fungera som dubbelblinda sakkunniggranskare. Den andra som enkelblinda granskare. Experimentet skulle hjälpa till att avgöra vilket tillvägagångssätt som kan ha mer bias.
Författarna fann att det fanns skillnader mellan granskningsgrupperna. Alla granskare hade tillgång till tidningarnas titlar och sammanfattningar. Baserat på detta angav granskarna vilka artiklar de ville granska. De enkelblinda granskarna begärde att få granska 22 % färre artiklar. De enkelblinda granskarna var också mer benägna att välja artiklar från toppuniversitet eller IT-företag att granska. De var också mer benägna att ge en positiv granskning till artiklar med en känd författare.
Enkelblinda granskare har tillgång till författarnas namn och institutioner. Studien visar att författarens institution hade ett betydande inflytande på enkelblinda granskares beslut att lägga bud på en artikel. Det fanns ingen upptäckt bias mot kvinnliga författare för denna konferens. En metareview som kombinerade data från denna konferens med andra studier visade att det fanns en betydande bias mot kvinnliga författare.
Experimentet från konferensen Web Search and Data Mining visar att enkelblinda granskare använder information om författare och institutioner i sina granskningar. Det kan vara så att denna information hjälper granskarna att göra bättre bedömningar. Det kan också vara så att detta missgynnar arbeten från icke prestigefyllda institutioner och författare. Två artiklar av samma värde kan bedömas olika av enkelblinda granskare baserat på vem som skrivit artikeln.
A Review of Peer Review
Å andra sidan ger dubbelblind granskning av kollegor en falsk känsla av säkerhet. Välkända författare kan lätt identifieras genom arten av deras arbete. I artikeln kan det också finnas hänvisningar till tidigare arbeten som de har publicerat. Det kan också finnas andra ledtrådar, t.ex. en preferens för en teknik eller substans. Detta innebär att granskarna även utan namnen kan räkna ut vem som har skrivit en artikel. Det skulle därför vara bättre att berätta för granskaren vem som skrivit artikeln och fråga om det finns en intressekonflikt.
Den faktiska processen att ta bort författarinformation för att dölja identiteten misslyckas i 46-73 % av fallen. Problemet är inte att identifiera författaren. Problemet är om granskarna har fördomar mot författare från ett visst land, en viss ras eller ett visst kön? Medan fokus främst har legat på granskare finns det väldigt lite diskussion om fördomar hos redaktörer. Redaktörerna har trots allt sista ordet.
Peer review är en del av den akademiska forskningscykeln och det är uppenbart att det finns fördomar i denna process. Revisors bias drabbar ofta kvinnor, minoriteter och forskare från icke prestigefyllda institutioner. För att försöka bekämpa detta problem använder tidskrifter blind peer review. Enkelblind expertgranskning ger dock kända författare en fördel. Dubbelblind granskning kanske inte riktigt eliminerar bias, och därför anser forskare att det är bättre att övergå till öppen granskning.
