Akateemisen tutkimuksen vertaisarviointi on julkaisemisen ydin. On tärkeää, ettei tätä prosessia tahraa arvioijien puolueellisuus. On olemassa kaksi suosittua arviointitapaa. Single-blind-vertaisarvioinnissa kirjoittajat eivät tiedä, keitä arvioijat ovat. Arvostelijat tietävät, keitä kirjoittajat ovat. Kaksoissokkoutetussa vertaisarvioinnissa kirjoittajat ja arvioijat eivät tiedä toistensa nimiä. Yksisokkovertaisarviointi on perinteinen malli. Molemmat mallit ovat kuitenkin olemassa vertaisarvioinnin puolueellisuuden poistamiseksi.
The Physics Experiment
Vuoden 2017 alussa Institute of Physics (IOP) antoi kirjoittajille mahdollisuuden valita kaksoissokea vertaisarviointi. Tämä vaihtoehto oli käytettävissä Materials Research Expressissä ja Biomedical Physics & Engineering Expressissä. Seitsemän ensimmäisen kuukauden aikana 20 % kirjoittajista valitsi kaksoissokkovertaisarviointivaihtoehdon. Intiasta, Afrikasta ja Lähi-idästä kotoisin olevat kirjoittajat pyysivät todennäköisimmin tätä vaihtoehtoa.
IOP:n tiedot osoittavat, että useammat artikkelit hylättiin kaksoissokkomallilla. Noin 70 prosenttia artikkeleista hylättiin kaksoissokkoutetussa vertaisarviointiprosessissa. Toisaalta vain 50 % papereista sai hylkäyksen yksisokeassa vertaisarvioinnissa. Ero saattaa johtua siitä, että arvioijat olettivat, että tätä vaihtoehtoa pyytävät kirjoittajat olivat kirjoittaneet huonoja artikkeleita. Se voi johtua myös siitä, että arvioijat toimivat objektiivisemmin. Kaksoissokkokokeeseen osallistuneet kirjoittajat olivat kuitenkin tyytyväisiä ja pitivät sitä oikeudenmukaisimpana lähestymistapana.
Vertaisarvioinnin puolueellisuus on todellinen ongelma. Monet tutkimukset ovat osoittaneet, että naiset ja vähemmistöt saavat harvemmin julkaisuja, rahoitusta tai ylennyksiä. Tämä puolueellisuus voi olla sekä tietoista että tiedostamatonta. Tieteellisessä julkaisutoiminnassa tämä tarkoittaa sitä, että vähemmän naisia pyydetään arvioimaan artikkeleita. Se tarkoittaa myös sitä, että naisten julkaisuja siteerataan vähemmän. On olemassa kaksi vertaisarviointimallia, joissa henkilöllisyys on piilotettu. Kumpi todennäköisemmin poistaa ennakkoluulot?
Double-Blind vs. Single-Blind Peer Review
Vuoden 2017 Web Search and Data Mining -konferenssi tarjosi hyvän tilaisuuden kokeilla tätä teoriaa. Tietojenkäsittelytieteessä artikkelit ilmestyvät usein ensin (tai yksinomaan) vertaisarvioiduissa konferensseissa. Ohjelmakomitea päätti jakaa arvioijat satunnaisesti kahteen ryhmään. Toinen toimisi kaksoissokkona vertaisarvioijina. Toinen toimi yksisokkona vertaisarvioijana. Kokeilu auttaisi päättämään, kumpi lähestymistapa saattaisi olla puolueellisempi.
Tekijät havaitsivat, että arvosteluryhmien välillä oli eroja. Kaikilla arvioijilla oli pääsy papereiden otsikoihin ja tiivistelmiin. Näiden perusteella arvioijat ilmoittivat, mitkä paperit he halusivat arvioida. Yksittäiset sokeat tarkastajat pyysivät tarkastamaan 22 % vähemmän papereita. Yksittäiset sokkotarkastajat valitsivat myös todennäköisemmin huippuyliopistoista tai tietotekniikkayrityksistä peräisin olevia papereita tarkastettavaksi. He antoivat myös todennäköisemmin myönteisen arvion papereille, joissa oli kuuluisa kirjoittaja.
Sokkoarvostelijoilla on pääsy kirjoittajien nimiin ja laitoksiin. Tutkimus osoittaa, että kirjoittajan laitoksella oli merkittävä vaikutus yksisokkoarvostelijoiden päätöksiin antaa tarjouksen paperille. Naiskirjoittajiin kohdistuvaa puolueellisuutta ei havaittu tässä konferenssissa. Metatarkastelu, jossa yhdistettiin tämän konferenssin tiedot muihin tutkimuksiin, osoitti, että naiskirjoittajiin kohdistui merkittävää puolueellisuutta.
Verkkohaku ja tiedonlouhinta -konferenssikokeilu osoittaa, että single-blind-arvostelijat käyttävät kirjoittajia ja laitoksia koskevia tietoja arvosteluissaan. Voi olla, että nämä tiedot auttavat arvioijia tekemään parempia arvioita. Voi myös olla, että tämä asettaa muiden kuin arvostettujen laitosten ja kirjoittajien työt epäedulliseen asemaan. Yksittäiset sokeat arvioijat saattavat arvioida kaksi samanarvoista työtä eri tavalla sen perusteella, kuka on kirjoittanut työn.
A Review of Peer Review
Toisaalta kaksoissokkoutettu vertaisarviointi antaa vääränlaisen turvallisuuden tunteen. Tunnetut kirjoittajat voidaan helposti tunnistaa heidän työnsä luonteen perusteella. Artikkelissa saatetaan myös viitata heidän aiemmin julkaisemiinsa töihin. Myös muita vihjeitä voi olla, kuten mieltymys johonkin tekniikkaan tai yhdisteeseen. Tämä tarkoittaa, että myös ilman nimiä arvioijat voivat päätellä, kuka on kirjoittanut artikkelin. Siksi olisi parempi kertoa arvioijalle, kuka on kirjoittanut artikkelin, ja kysyä, onko kyseessä eturistiriita.
Tekijätietojen poistaminen henkilöllisyyden salaamiseksi epäonnistuu 46-73 prosentissa tapauksista. Ongelma ei ole kirjoittajan tunnistaminen. Ongelma on se, onko arvioijilla ennakkoluuloja tiettyyn maahan, rotuun tai sukupuoleen kuuluvia kirjoittajia kohtaan? Vaikka pääpaino on ollut arvioijissa, toimittajien ennakkoluuloista on keskusteltu hyvin vähän. Loppujen lopuksi päätoimittajilla on viimeinen sana.
Vertaisarviointi on osa akateemista tutkimussykliä, ja on selvää, että tässä prosessissa on ennakkoluuloja. Arvostelijoiden puolueellisuus kohdistuu usein naisiin, vähemmistöihin ja muiden kuin arvostettujen laitosten tutkijoihin. Tämän ongelman torjumiseksi lehdet käyttävät sokeaa vertaisarviointia. Sokkovertaisarviointi antaa kuitenkin etulyöntiaseman tunnetuille kirjoittajille. Kaksoissokea vertaisarviointi ei ehkä todellisuudessa poista puolueellisuutta, joten tutkijoiden mielestä on parempi siirtyä avoimeen vertaisarviointiin.
