A tudományos kutatások szakértői értékelése a publikálás középpontjában áll. Fontos, hogy ezt a folyamatot ne szennyezze a bírálók elfogultsága. A bírálatnak két népszerű módja létezik. Az egyszeri vak bírálat során a szerzők nem tudják, hogy kik a bírálók. A bírálók tudják, hogy kik a szerzők. A kettős vak bírálat során sem a szerzők, sem a bírálók nem ismerik egymás nevét. Az egyszerű vak szakértői értékelés a hagyományos modell. Mindkét modell azonban azért létezik, hogy kiküszöbölje az elfogultságot a szakértői értékelésben.
The Physics Experiment
2017 elején az Institute of Physics (IOP) lehetőséget adott a szerzőknek, hogy a kettős vak szakértői értékelést válasszák. Ez a lehetőség a Materials Research Express és a Biomedical Physics & Engineering Express esetében volt elérhető. Az első hét hónapban a szerzők 20%-a választotta a kettős vak szakértői értékelés lehetőségét. Az Indiából, Afrikából és a Közel-Keletről származó szerzők kérték leginkább ezt a lehetőséget.
Az IOP adatai szerint a kettős vak modellben több dolgozatot utasítottak el. A dolgozatok mintegy 70%-a kapott elutasítást a kettős vak szakértői értékelés során. Ezzel szemben az egy vak szakértői értékelés során csak a dolgozatok 50%-a kapott elutasítást. A különbség oka az lehet, hogy a bírálók azt feltételezték, hogy az ezt a lehetőséget kérő szerzők rossz dolgozatokat írtak. Az is lehet, hogy a bírálók objektívebben járnak el. A kettős vak vizsgálatban részt vevő szerzők azonban elégedettek voltak, és úgy érezték, hogy ez a legigazságosabb megközelítés.
A szakértői értékelésben az elfogultság valós probléma. Számos tanulmány kimutatta, hogy a nők és a kisebbségek kisebb valószínűséggel kapnak kevesebb publikációt, finanszírozást vagy előléptetést. Ez az elfogultság lehet tudatos és tudattalan is. A tudományos könyvkiadáson belül ez azt jelenti, hogy kevesebb nőt kérnek fel dolgozat bírálatára. Ez azt is jelenti, hogy a nők munkáit kevesebbet idézik. Két olyan szakértői értékelési modell létezik, ahol a személyazonosságot elrejtik. Melyik az, amelyik nagyobb valószínűséggel szünteti meg az előítéletességet?
Double-Blind vs. Single-Blind Peer Review
A 2017-es Web Search and Data Mining konferencia jó alkalmat adott ennek az elméletnek a kikísérletezésére. Az informatikában a dolgozatok gyakran először (vagy kizárólag) a lektorált konferenciákon jelennek meg. A programbizottság úgy döntött, hogy a bírálókat véletlenszerűen két csoportra osztja. Az egyik csoport kettős vak bírálóként működött volna. A másik egy vak bírálóként. A kísérlet segítene eldönteni, hogy melyik megközelítésben lehet nagyobb a torzítás.
A szerzők azt találták, hogy a bírálócsoportok között voltak különbségek. Minden bíráló hozzáférhetett a tanulmányok címeihez és összefoglalóihoz. Ezek alapján a bírálók jelezték, hogy mely dolgozatokat kívánják átnézni. Az egy-vak bírálók 22%-kal kevesebb dolgozatot kértek átnézni. Az egyszeri vak bírálók nagyobb valószínűséggel választották ki a legjobb egyetemekről vagy informatikai vállalatoktól származó tanulmányokat. Valamint nagyobb valószínűséggel adtak pozitív bírálatot olyan dolgozatokra, amelyeknek híres szerzője volt.
A vak bírálók hozzáférnek a szerzők neveihez és intézményeihez. A tanulmány szerint a szerző intézménye jelentősen befolyásolta az egyszeri vak bírálók döntését, hogy ajánlatot tesznek-e egy dolgozatra. Ezen a konferencián nem volt kimutatható elfogultság a női szerzőkkel szemben. Ennek a konferenciának az adatait más tanulmányokkal kombináló metareview azt mutatta, hogy a női szerzőkkel szemben jelentős elfogultság volt tapasztalható.
A Web Search and Data Mining konferenciakísérlet azt mutatja, hogy az egyvak bírálók a szerzőkre és az intézményekre vonatkozó információkat használják a bírálatok során. Lehet, hogy ez az információ segíti a bírálókat abban, hogy jobb ítéleteket hozzanak. Az is lehet, hogy ez hátrányos helyzetbe hozza a nem tekintélyes intézmények és szerzők munkáit. Két azonos értékű dolgozatot az egyszeres vak bírálók eltérően értékelhetnek attól függően, hogy ki írta a dolgozatot.
A Review of Peer Review
Másrészt a kettős vak bírálat hamis biztonságérzetet nyújt. A jól ismert szerzők könnyen azonosíthatók munkájuk jellege alapján. A dolgozat hivatkozhat az általuk publikált korábbi munkákra is. Lehetnek más nyomok is, mint például egy technika vagy vegyület előnyben részesítése. Ez azt jelenti, hogy a bírálók a nevek nélkül is ki tudják találni, hogy ki írta a tanulmányt. Ezért jobb lenne elmondani a bírálónak, hogy ki írta a cikket, és megkérdezni, hogy fennáll-e összeférhetetlenség.
A szerzői információk eltávolításának tényleges folyamata a személyazonosság elrejtése érdekében az esetek 46-73%-ában sikertelen. A probléma nem a szerző azonosítása. A probléma az, hogy a bírálóknak van-e előítélete egy bizonyos országból, fajból vagy nemből származó szerzőkkel szemben? Míg eddig főként a bírálókra összpontosítottunk, nagyon kevés szó esik a szerkesztők elfogultságáról. Végül is a szerkesztőké a végső szó.
A szakértői bírálat része a tudományos kutatási ciklusnak, és egyértelmű, hogy ebben a folyamatban vannak előítéletek. A bírálói elfogultság gyakran érinti a nőket, a kisebbségeket és a nem tekintélyes intézmények kutatóit. E probléma leküzdése érdekében a folyóiratok vak bírálatot alkalmaznak. Az egyszeres vak bírálat azonban előnyhöz juttatja a jól ismert szerzőket. A kettős vak szakértői értékelés nem feltétlenül szünteti meg az elfogultságot, ezért a kutatók úgy vélik, hogy jobb lenne áttérni a nyílt szakértői értékelésre.
