学術研究の査読は、出版の中核をなすものです。 このプロセスは、査読者のバイアスに汚染されないようにすることが重要です。 査読には2つの一般的な方法があります。 単盲検査読では、著者は査読者が誰であるかを知りません。 査読者は著者が誰であるかを知っています。 二重盲検査読では、著者も査読者も互いの名前を知りません。 単盲検査読は、伝統的なモデルです。 しかし、どちらのモデルも査読におけるバイアスを排除するために存在します
The Physics Experiment
2017年の初めに、物理学会（IOP）は著者に二重盲査法を選択する選択肢を与えました。 このオプションは、Materials Research ExpressとBiomedical Physics & Engineering Expressで利用可能でした。 最初の7カ月間で、著者の20%が二重盲検査読オプションを選択しました。 インド、アフリカ、中東の著者がこのオプションを選択する傾向がありました。
IOPのデータでは、二重盲検モデルではより多くの論文がリジェクトされたことが示されています。 二重盲検査読プロセスでは、約70%の論文がリジェクトされました。 一方、一重盲検査読では、リジェクトされた論文は50%にとどまりました。 この差は、査読者が、このオプションを要求した著者は質の悪い論文を書いたと判断したためと考えられます。 また、査読者がより客観的に行動したためである可能性もあります。 しかし、二重盲検試験の著者は満足しており、最も公平なアプローチであると感じています
査読におけるバイアスは、現実的な問題であると言えます。 女性やマイノリティは出版、資金提供、昇進の可能性が低いことを示す研究が数多くあります。 この偏りは、意識的なものと無意識のものの両方があり得ます。 科学出版においては、これは、論文の査読を依頼される女性の数が少ないことを意味します。 また、女性による論文の引用が少ないことも意味しています。 身元を隠す査読モデルには2種類あります。 どちらがバイアスを取り除く可能性が高いでしょうか？
Double-Blind vs. Single-Blind Peer Review
The 2017 Web Search and Data Mining conferenceはこの理論を実験する良い機会を提供しました。 コンピュータサイエンスでは、論文は査読付きカンファレンスに最初に (あるいは独占的に) 掲載されることがよくあります。 プログラム委員会は、その査読者をランダムに2つのグループに分けることにしました。 1つは二重盲検査読者としての役割を果たすものです。 もう一方は、一重盲検査読者とします。 この実験は、どちらのアプローチがより偏りを持つ可能性があるかを判断するのに役立つでしょう。 すべての査読者は論文のタイトルと抄録にアクセスすることができました。 これに基づいて、査読者はどの論文を査読したいかを指示した。 単盲検査読者は査読を希望する論文が22%少なかった。 また、一流大学やIT企業からの論文を選択する傾向が強かった。 3607>
単盲検査読者は、著者の名前と所属機関にアクセスすることができます。 本研究では、著者の所属機関が、一重盲検審査員の論文入札の判断に大きな影響を与えることが示された。 本学会では、女性著者に対するバイアスは検出されなかった。 この学会のデータを他の研究と組み合わせたメタレビューでは、女性著者に対する有意な偏りがあることが示された。
Web Search and Data Mining学会の実験では、単盲検査読者が著者や機関の情報を査読に利用していることが示された。 この情報は、査読者がより良い判断をするのに役立っているのかもしれません。 また、権威のない機関や著者の研究が不利になる可能性もあります。 3607>
A Review of Peer Review
一方で、二重盲検査読は誤った安心感を与えています。 有名な著者は、その仕事の性質上、簡単に特定することができます。 また、その論文は、彼らが発表した以前の研究にも言及しているかもしれません。 また、ある技術や化合物に対する好みなど、他の手がかりもあるかもしれません。 つまり、名前がなくても、査読者は誰が書いた論文なのかを把握することができるのです。 したがって、誰が論文を書いたのかを査読者に伝え、利益相反があるかどうかを尋ねる方がよいでしょう。
身元を隠すために著者情報を削除する実際のプロセスは、46～73％の確率で失敗しています。 問題は著者を特定することではありません。 問題は、査読者が特定の国、人種、性別の著者に対して偏見を持っているかどうかです。 これまで主に査読者に焦点が当てられてきましたが、編集者の偏見についてはほとんど議論されてきませんでした。 3607>
査読は学術研究サイクルの一部であり、このプロセスに偏りがあることは明らかです。 査読者のバイアスは、女性やマイノリティ、権威のない機関の研究者に影響することが多いのです。 この問題に対処するため、ジャーナルはブラインド査読を採用しています。 しかし、単盲検査読は、有名な著者に有利に働きます。 二重盲検査読は実際にはバイアスを排除できない可能性があり、それゆえ研究者は、公開査読に切り替えた方がよいと感じるのです」
