La revisione tra pari della ricerca accademica è il cuore della pubblicazione. È importante che questo processo non sia contaminato da pregiudizi dei revisori. Esistono due modalità popolari di revisione. Nella revisione tra pari in singolo cieco, gli autori non sanno chi sono i revisori. I revisori sanno chi sono gli autori. Nella revisione in doppio cieco, né gli autori né i revisori conoscono i nomi degli altri. La revisione in cieco singolo è il modello tradizionale. Tuttavia, entrambi i modelli esistono per eliminare i pregiudizi nella revisione tra pari.
The Physics Experiment
All’inizio del 2017, l’Institute of Physics (IOP) ha dato agli autori la possibilità di scegliere la revisione tra pari in doppio cieco. Questa opzione era disponibile per Materials Research Express e Biomedical Physics & Engineering Express. Nei primi sette mesi, il 20% degli autori ha scelto l’opzione di double-blind peer review. Gli autori provenienti dall’India, dall’Africa e dal Medio Oriente sono stati i più propensi a richiedere l’opzione.
I datiIOP indicano che più articoli hanno ricevuto un rifiuto con il modello in doppio cieco. Circa il 70% degli articoli ha ricevuto un rifiuto nel processo di peer review in doppio cieco. D’altra parte, solo il 50% dei lavori ha ricevuto un rifiuto con la revisione in singolo cieco. La differenza potrebbe essere dovuta ai revisori che presumono che gli autori che richiedono questa opzione abbiano scritto articoli scadenti. Potrebbe anche essere dovuto al fatto che i revisori hanno agito in modo più obiettivo. Tuttavia, gli autori nello studio in doppio cieco erano soddisfatti e sentivano che era l’approccio più giusto.
Il pregiudizio nella revisione tra pari è un problema reale. Ci sono stati molti studi che dimostrano che le donne e le minoranze hanno meno probabilità di essere pubblicate, finanziate o promosse. Questo pregiudizio può essere sia conscio che inconscio. Nell’ambito dell’editoria scientifica, questo significa che meno donne sono invitate a rivedere i documenti. Significa anche che gli articoli delle donne sono citati meno. Ci sono due modelli di peer review in cui le identità sono nascoste. Quale è più probabile che elimini i pregiudizi?
Double-Blind vs. Single-Blind Peer Review
La conferenza Web Search and Data Mining del 2017 ha fornito una buona occasione per sperimentare questa teoria. In Informatica, i documenti spesso appaiono prima (o esclusivamente) nelle conferenze peer-reviewed. Il comitato di programma ha deciso di dividere casualmente i suoi revisori in due gruppi. Uno avrebbe servito come revisori in doppio cieco. L’altro come revisori in singolo cieco. L’esperimento avrebbe aiutato a decidere quale approccio avrebbe potuto avere più bias.
Gli autori hanno trovato che c’erano differenze tra i gruppi di revisione. Tutti i revisori hanno avuto accesso ai titoli e agli abstract dei lavori. Sulla base di questo, i revisori hanno indicato quali articoli volevano rivedere. I revisori in cieco singolo hanno richiesto di rivedere il 22% di articoli in meno. I revisori in cieco singolo erano anche più propensi a scegliere documenti provenienti dalle migliori università o aziende IT da recensire. Erano anche più propensi a dare una revisione positiva ai documenti con un autore famoso.
I revisori in cieco singolo hanno accesso ai nomi degli autori e alle istituzioni. Lo studio indica che l’istituzione dell’autore ha avuto un’influenza significativa sulle decisioni dei revisori in cieco singolo di fare un’offerta per un articolo. Non è stato rilevato alcun pregiudizio contro gli autori di sesso femminile per questa conferenza. Una metareview che combina i dati di questa conferenza con altri studi ha indicato che c’era un bias significativo contro le autrici donne.
L’esperimento della conferenza Web Search and Data Mining mostra che i revisori single-blind usano informazioni sugli autori e sulle istituzioni nelle loro recensioni. Potrebbe essere che queste informazioni aiutino i revisori a dare giudizi migliori. Potrebbe anche essere che questo metta il lavoro di istituzioni e autori non prestigiosi in una posizione di svantaggio. Due articoli di uguale valore possono essere valutati diversamente dai revisori in singolo cieco in base a chi ha scritto l’articolo.
A Review of Peer Review
D’altra parte, la revisione tra pari in doppio cieco fornisce un falso senso di sicurezza. Autori ben noti possono essere facilmente identificati dalla natura del loro lavoro. L’articolo può anche fare riferimento a lavori precedenti che hanno pubblicato. Ci possono essere anche altri indizi, come una preferenza per una tecnica o un composto. Questo significa che, anche senza i nomi, i revisori possono capire chi ha scritto un articolo. Sarebbe quindi meglio dire al revisore chi ha scritto l’articolo e chiedere se c’è un conflitto di interessi.
Il processo effettivo di rimozione delle informazioni sull’autore per nascondere l’identità fallisce il 46-73% delle volte. Il problema non è identificare l’autore. Il problema è se i revisori hanno un pregiudizio contro gli autori di un certo paese, razza o genere? Mentre l’attenzione si è concentrata principalmente sui revisori, esiste pochissima discussione sui pregiudizi dei redattori. Gli editori, dopo tutto, hanno l’ultima parola.
La revisione dei revisori fa parte del ciclo della ricerca accademica ed è chiaro che ci sono pregiudizi in questo processo. I pregiudizi dei revisori spesso colpiscono le donne, le minoranze e i ricercatori di istituzioni non prestigiose. Per cercare di combattere questo problema, le riviste usano la revisione alla cieca. Tuttavia, la revisione alla cieca dà il vantaggio agli autori noti. La peer review in doppio cieco potrebbe non eliminare effettivamente i pregiudizi, quindi i ricercatori ritengono che sia meglio passare alla peer review aperta.
