Peer review badań akademickich jest podstawą publikowania. Ważne jest, aby proces ten nie był skażony stronniczością recenzentów. Istnieją dwa popularne tryby recenzowania. W trybie single-blind peer review autorzy nie wiedzą, kim są recenzenci. Recenzenci wiedzą, kim są autorzy. W double-blind peer review ani autorzy, ani recenzenci nie znają swoich nazwisk. Model tradycyjny to single-blind peer review. Jednak oba modele istnieją, aby wyeliminować stronniczość w peer review.
The Physics Experiment
Na początku 2017 roku Institute of Physics (IOP) dał autorom możliwość wyboru double-blind peer review. Opcja ta była dostępna dla Materials Research Express i Biomedical Physics & Engineering Express. W ciągu pierwszych siedmiu miesięcy 20% autorów wybrało opcję double-blind peer review. Autorzy z Indii, Afryki i Bliskiego Wschodu najczęściej prosili o tę opcję.
Dane IOP wskazują, że więcej prac zostało odrzuconych w modelu double-blind. Około 70% prac zostało odrzuconych w procesie double-blind peer review. Z drugiej strony, tylko 50% prac zostało odrzuconych w modelu single-blind peer review. Różnica ta może wynikać z założenia recenzentów, że autorzy wnioskujący o tę opcję napisali słabe prace. Może też wynikać z tego, że recenzenci działają bardziej obiektywnie. Jednak autorzy w próbie z podwójnie ślepą próbą byli zadowoleni i uważali, że jest to najbardziej sprawiedliwe podejście.
Bias w peer review jest prawdziwym problemem. Istnieje wiele badań pokazujących, że kobiety i mniejszości mają mniejsze szanse na publikację, finansowanie lub awans. To uprzedzenie może być zarówno świadome, jak i nieświadome. W publikacjach naukowych oznacza to, że mniej kobiet jest proszonych o recenzowanie prac. Oznacza to również, że prace kobiet są rzadziej cytowane. Istnieją dwa modele recenzowania, w których tożsamość jest ukryta. Który z nich jest bardziej prawdopodobny, aby pozbyć się uprzedzeń?
Double-Blind vs. Single-Blind Peer Review
Konferencja Web Search and Data Mining 2017 dostarczyła dobrej okazji do eksperymentowania z tą teorią. W informatyce prace często pojawiają się najpierw (lub wyłącznie) na recenzowanych konferencjach. Komitet programowy postanowił losowo podzielić swoich recenzentów na dwie grupy. Jedna z nich miała pełnić rolę recenzentów podwójnie ślepych. Druga jako recenzentów z pojedynczą ślepą próbą. Eksperyment miał pomóc zdecydować, które podejście może mieć więcej stronniczości.
Autorzy stwierdzili, że istniały różnice pomiędzy grupami recenzentów. Wszyscy recenzenci mieli dostęp do tytułów i streszczeń prac. Na tej podstawie recenzenci wskazywali, które prace chcą przejrzeć. Recenzentów single-blind poproszono o przejrzenie o 22% mniej prac. Recenzenci single-blind częściej wybierali do recenzji prace z najlepszych uniwersytetów lub firm informatycznych. Częściej też pozytywnie oceniali prace, których autor jest znany.
Recenzenci single-blind mają dostęp do nazwisk i instytucji autorów. Badanie wykazało, że instytucja autora miała znaczący wpływ na decyzje recenzentów single-blind o wyborze pracy. W przypadku tej konferencji nie wykryto tendencyjności wobec autorów płci żeńskiej. Metareview łączący dane z tej konferencji z innymi badaniami wskazał, że istniało znaczące uprzedzenie wobec autorów płci żeńskiej.
Eksperyment z konferencji Web Search and Data Mining pokazuje, że recenzenci single-blind wykorzystują informacje o autorach i instytucjach w swoich recenzjach. Może się okazać, że te informacje pomagają recenzentom w dokonywaniu lepszych ocen. Może też być tak, że stawia to prace z nieprestiżowych instytucji i autorów w gorszej sytuacji. Dwie prace o tej samej wartości mogą być różnie ocenione przez recenzentów single-blind na podstawie tego, kto jest ich autorem.
A Review of Peer Review
Z drugiej strony, double-blind peer review daje fałszywe poczucie bezpieczeństwa. Znani autorzy mogą być łatwo zidentyfikowani na podstawie charakteru ich pracy. Praca może również nawiązywać do poprzedniej pracy, którą opublikowali. Mogą też istnieć inne wskazówki, takie jak preferencje co do techniki lub związku. Oznacza to, że nawet bez nazwisk recenzenci mogą się zorientować, kto jest autorem pracy. Dlatego lepiej byłoby powiedzieć recenzentowi, kto jest autorem pracy i zapytać, czy istnieje konflikt interesów.
Skuteczny proces usuwania informacji o autorze w celu ukrycia tożsamości kończy się niepowodzeniem w 46-73% przypadków. Problemem nie jest identyfikacja autora. Problemem jest to, czy recenzenci mają uprzedzenia do autorów z określonego kraju, rasy lub płci? Podczas gdy skupiamy się głównie na recenzentach, bardzo mało dyskusji dotyczy uprzedzeń redaktorów. Redaktorzy mają przecież ostatnie słowo.
Peer review jest częścią akademickiego cyklu badawczego i jest oczywiste, że w tym procesie istnieje uprzedzenie. Uprzedzenia recenzentów często dotyczą kobiet, mniejszości i badaczy z nieprestiżowych instytucji. Aby zwalczać ten problem, czasopisma używają ślepej recenzji (blind peer review). Jednak single-blind peer review daje przewagę znanym autorom. Double-blind peer review może w rzeczywistości nie wyeliminować stronniczości, dlatego badacze uważają, że lepiej jest przejść na open peer review.
.