Die Peer-Review akademischer Forschung ist das Herzstück des Publikationswesens. Es ist wichtig, dass dieser Prozess nicht durch Voreingenommenheit der Gutachter beeinträchtigt wird. Es gibt zwei gängige Arten der Überprüfung. Bei der einfach-blind Peer Review wissen die Autoren nicht, wer die Gutachter sind. Die Gutachter wissen, wer die Autoren sind. Bei der Doppelblind-Peer-Review kennen weder die Autoren noch die Gutachter die Namen der jeweils anderen. Die einfach-blinde Peer-Review ist das traditionelle Modell. Es gibt jedoch beide Modelle, um eine Voreingenommenheit bei der Begutachtung auszuschließen.
Das Physikexperiment
Anfang 2017 hat das Institute of Physics (IOP) den Autoren die Möglichkeit gegeben, sich für eine doppelblinde Begutachtung zu entscheiden. Diese Option war für Materials Research Express und Biomedical Physics & Engineering Express verfügbar. In den ersten sieben Monaten wählten 20 % der Autoren die Option der doppelblinden Peer-Review. Autoren aus Indien, Afrika und dem Nahen Osten beantragten diese Option am häufigsten.
IOP-Daten zeigen, dass unter dem Double-Blind-Modell mehr Beiträge abgelehnt wurden. Etwa 70 % der Arbeiten wurden im Double-Blind-Peer-Review-Verfahren abgelehnt. Dagegen wurden beim einfach-blind Peer-Review-Verfahren nur 50 % der Arbeiten abgelehnt. Der Unterschied könnte darauf zurückzuführen sein, dass die Gutachter davon ausgehen, dass Autoren, die diese Option beantragen, schlechte Arbeiten verfasst haben. Er könnte auch darauf zurückzuführen sein, dass die Gutachter objektiver vorgehen. Die Autoren der Doppelblindstudie waren jedoch zufrieden und hielten dies für den fairsten Ansatz.
Voreingenommenheit bei der Peer Review ist ein echtes Problem. Es gibt viele Studien, die zeigen, dass Frauen und Minderheiten seltener veröffentlicht, finanziert oder befördert werden. Diese Voreingenommenheit kann sowohl bewusst als auch unbewusst sein. Im Bereich des wissenschaftlichen Publizierens bedeutet dies, dass weniger Frauen gebeten werden, Arbeiten zu begutachten. Es bedeutet auch, dass Arbeiten von Frauen weniger zitiert werden. Es gibt zwei Peer-Review-Modelle, bei denen die Identitäten verborgen werden. Welches Modell ist am ehesten geeignet, Voreingenommenheit zu beseitigen?
Double-Blind vs. Single-Blind Peer Review
Die Web Search and Data Mining Konferenz 2017 bot eine gute Gelegenheit, diese Theorie zu testen. In der Informatik erscheinen Beiträge oft zuerst (oder ausschließlich) in Konferenzen mit Peer-Review. Der Programmausschuss beschloss, seine Gutachter nach dem Zufallsprinzip in zwei Gruppen aufzuteilen. Eine Gruppe sollte als Double-Blind-Peer-Reviewer fungieren. Die andere als einfach-blinde Peer-Reviewer. Das Experiment sollte Aufschluss darüber geben, welcher Ansatz mehr Verzerrungen hervorrufen könnte.
Die Autoren stellten fest, dass es Unterschiede zwischen den Gutachtergruppen gab. Alle Gutachter hatten Zugang zu den Titeln und Zusammenfassungen der Arbeiten. Auf dieser Grundlage gaben die Gutachter an, welche Arbeiten sie begutachten wollten. Die Einzelblind-Gutachter forderten 22 % weniger Arbeiten zur Begutachtung an. Außerdem wählten sie eher Arbeiten von Spitzenuniversitäten oder IT-Unternehmen zur Begutachtung aus. Sie gaben auch eher eine positive Bewertung für Arbeiten mit einem berühmten Autor ab.
Einzel-Blind-Gutachter haben Zugang zu den Namen und Institutionen der Autoren. Die Studie zeigt, dass die Institution des Autors einen signifikanten Einfluss auf die Entscheidung der Einzelblind-Gutachter hatte, ein Angebot für eine Arbeit abzugeben. Bei dieser Konferenz wurde keine Voreingenommenheit gegenüber weiblichen Autoren festgestellt. Eine Metareview, bei der die Daten dieser Konferenz mit denen anderer Studien kombiniert wurden, zeigte, dass es eine signifikante Voreingenommenheit gegenüber weiblichen Autoren gab.
Das Experiment der Web Search and Data Mining-Konferenz zeigt, dass Einzelblind-Gutachter Informationen über Autoren und Institutionen in ihren Gutachten verwenden. Es könnte sein, dass diese Informationen den Gutachtern helfen, ein besseres Urteil zu fällen. Es könnte aber auch sein, dass dadurch Arbeiten von nicht prestigeträchtigen Institutionen und Autoren benachteiligt werden. Zwei gleichwertige Arbeiten können von einfach verblindeten Gutachtern unterschiedlich bewertet werden, je nachdem, wer die Arbeit verfasst hat.
A Review of Peer Review
Andererseits vermittelt die doppelblinde Begutachtung ein falsches Gefühl der Sicherheit. Bekannte Autoren lassen sich leicht an der Art ihrer Arbeit erkennen. Die Arbeit kann auch auf frühere Arbeiten verweisen, die sie veröffentlicht haben. Es kann auch andere Anhaltspunkte geben, z. B. eine Vorliebe für eine bestimmte Technik oder einen bestimmten Wirkstoff. Das bedeutet, dass die Gutachter auch ohne Namen herausfinden können, wer eine Arbeit verfasst hat. Es wäre daher besser, dem Gutachter mitzuteilen, wer die Arbeit verfasst hat, und ihn zu fragen, ob ein Interessenkonflikt besteht.
Das eigentliche Verfahren zur Entfernung von Autoreninformationen zur Verschleierung der Identität schlägt in 46-73 % der Fälle fehl. Das Problem ist nicht die Identifizierung des Autors. Das Problem ist, ob die Rezensenten Vorurteile gegenüber Autoren aus einem bestimmten Land, einer bestimmten Rasse oder einem bestimmten Geschlecht haben. Während das Hauptaugenmerk auf den Gutachtern liegt, wird über die Voreingenommenheit von Redakteuren nur wenig diskutiert. Schließlich haben die Redakteure das letzte Wort.
Peer-Reviews sind Teil des akademischen Forschungszyklus, und es ist klar, dass es in diesem Prozess Vorurteile gibt. Von der Voreingenommenheit der Gutachter sind häufig Frauen, Minderheiten und Forscher aus nicht renommierten Einrichtungen betroffen. Um dieses Problem zu bekämpfen, verwenden die Zeitschriften ein Blind Peer Review. Bei der einfach-blind Peer Review sind jedoch bekannte Autoren im Vorteil. Die doppelblinde Peer-Review kann die Voreingenommenheit nicht wirklich beseitigen, weshalb die Forscher der Meinung sind, dass es besser ist, zu einer offenen Peer-Review überzugehen.
