Evaluarea colegială a cercetării academice este în centrul publicării. Este important ca acest proces să nu fie viciat de părtinirea evaluatorilor. Există două moduri populare de revizuire. În cadrul evaluării colegiale cu un singur orb, autorii nu știu cine sunt evaluatorii. Recenzorii știu cine sunt autorii. În cazul revizuirii inter pares dublu-orb, nici autorii, nici recenzorii nu își cunosc numele unul altuia. Evaluarea inter pares cu un singur orb este modelul tradițional. Cu toate acestea, ambele modele există pentru a elimina părtinirea în evaluarea colegială.
Experimentul de fizică
La începutul anului 2017, Institutul de Fizică (IOP) a oferit autorilor opțiunea de a alege evaluarea colegială dublu-orb. Această opțiune a fost disponibilă pentru Materials Research Express și Biomedical Physics & Engineering Express. În primele șapte luni, 20 % dintre autori au ales opțiunea de evaluare inter pares dublu-orb. Autorii din India, Africa și Orientul Mijlociu au fost cei mai predispuși să solicite această opțiune.
DateleIOP indică faptul că mai multe lucrări au fost respinse în cadrul modelului dublu-orb. Aproximativ 70% din lucrări au primit o respingere în cadrul procesului de evaluare inter pares dublu-orb. Pe de altă parte, doar 50% dintre lucrări au primit o respingere în cadrul procesului de evaluare inter pares cu un singur orb. Diferența s-ar putea datora faptului că evaluatorii au presupus că autorii care au solicitat această opțiune au scris lucrări slabe. Ea s-ar putea datora, de asemenea, faptului că evaluatorii au acționat mai obiectiv. Cu toate acestea, autorii din cadrul testului dublu-orb au fost mulțumiți și au considerat că a fost cea mai echitabilă abordare.
Biasarea în evaluarea colegială este o problemă reală. Au existat multe studii care arată că femeile și minoritățile au mai puține șanse de a fi publicate, finanțate sau promovate. Această prejudecată poate fi atât conștientă, cât și inconștientă. În cadrul publicațiilor științifice, acest lucru înseamnă că mai puține femei sunt rugate să revizuiască lucrări. Înseamnă, de asemenea, că lucrările scrise de femei sunt mai puțin citate. Există două modele de evaluare inter pares în care identitățile sunt ascunse. Care dintre ele are mai multe șanse de a scăpa de prejudecăți?
Double-Blind vs. Single-Blind Peer Review
Conferința Web Search and Data Mining 2017 a oferit o bună ocazie de a experimenta această teorie. În domeniul informaticii, lucrările apar adesea mai întâi (sau exclusiv) în conferințe evaluate de colegi. Comitetul de program a decis să își împartă aleatoriu recenzorii în două grupuri. Unul dintre ele urma să servească drept recenzori inter pares dublu-orb. Celălalt ca peer revieweri cu un singur orb. Experimentul ar fi ajutat să decidă care abordare ar putea avea mai multe prejudecăți.
Autorii au constatat că au existat diferențe între grupurile de recenzenți. Toți recenzorii au avut acces la titlurile și rezumatele lucrărilor. Pe baza acestora, recenzorii au indicat ce lucrări doreau să revizuiască. Recenzorii cu un singur orb au solicitat să revizuiască cu 22% mai puține lucrări. De asemenea, evaluatorii cu un singur filtru au avut o probabilitate mai mare de a alege să evalueze lucrări de la universități de top sau de la companii IT. De asemenea, era mai probabil ca aceștia să acorde o recenzie pozitivă lucrărilor cu un autor celebru.
Revizorii single-blind au acces la numele și instituțiile autorilor. Studiul indică faptul că instituția autorului a avut o influență semnificativă asupra deciziilor recenzorilor single-blind de a licita o lucrare. Nu a fost detectată nicio prejudecată împotriva autorilor de sex feminin pentru această conferință. Un metareview care combină datele acestei conferințe cu alte studii a indicat că a existat o prejudecată semnificativă împotriva autorilor de sex feminin.
Experimentul conferinței Web Search and Data Mining arată că recenzorii single-blind folosesc informații despre autori și instituții în recenziile lor. S-ar putea ca aceste informații să îi ajute pe recenzenți să facă judecăți mai bune. S-ar putea, de asemenea, ca acest lucru să dezavantajeze lucrările provenite de la instituții și autori fără prestigiu. Două lucrări de valoare egală pot fi evaluate diferit de către recenzorii cu un singur orb în funcție de cine a scris lucrarea.
A Review of Peer Review
Pe de altă parte, evaluarea inter pares cu dublu orb oferă un fals sentiment de siguranță. Autorii bine cunoscuți pot fi identificați cu ușurință prin natura lucrărilor lor. De asemenea, lucrarea poate face referire la lucrări anterioare pe care aceștia le-au publicat. Pot exista și alte indicii, cum ar fi o preferință pentru o tehnică sau un compus. Acest lucru înseamnă că, chiar și fără nume, recenzorii își pot da seama cine a scris o lucrare. Prin urmare, ar fi mai bine să îi spuneți recenzentului cine a scris lucrarea și să îl întrebați dacă există un conflict de interese.
Procesul efectiv de eliminare a informațiilor despre autor pentru a ascunde identitatea eșuează în 46-73% din cazuri. Problema nu este identificarea autorului. Problema este dacă recenzorii au o prejudecată împotriva autorilor dintr-o anumită țară, rasă sau sex? În timp ce accentul a fost pus în principal pe recenzori, există foarte puține discuții despre prejudecățile editorilor. Editorii, la urma urmei, au ultimul cuvânt.
Revizuirea de către colegi face parte din ciclul de cercetare academică și este clar că există prejudecăți în acest proces. Prejudecățile recenzorilor afectează adesea femeile, minoritățile și cercetătorii din instituții neprestigioase. Pentru a încerca să combată această problemă, revistele utilizează evaluarea colegială oarbă. Cu toate acestea, evaluarea inter pares cu un singur orb îi avantajează pe autorii cunoscuți. Este posibil ca evaluarea inter pares dublu-orb să nu elimine de fapt părtinirea, de aceea cercetătorii consideră că este mai bine să se treacă la evaluarea inter pares deschisă.
