Peer review of academic research is at the heart of publishing. É importante que este processo não seja manchado pelo viés do revisor. Existem dois modos populares de revisão. Na revisão por pares cega, os autores não sabem quem são os revisores. Os revisores sabem quem são os autores. Na revisão duplo-cego, nem os autores nem os revisores conhecem os nomes um do outro. A revisão mono-cego é o modelo tradicional. Entretanto, ambos os modelos existem para eliminar o viés na revisão por pares.
The Physics Experiment
No início de 2017, o Institute of Physics (IOP) deu aos autores a opção de escolher a revisão por pares duplo-cegos. Esta opção estava disponível para Materials Research Express e Biomedical Physics & Engineering Express. Durante os primeiros sete meses, 20% dos autores escolheram a opção double-blind peer review. Autores da Índia, África e Oriente Médio provavelmente solicitaram a opção.
Os dados do PIO indicam que mais artigos receberam rejeições sob o modelo double-blind. Cerca de 70% dos artigos receberam rejeição no processo de revisão por pares duplo-cego. Por outro lado, apenas 50% dos trabalhos receberam rejeição no processo de revisão por pares duplo-cego. A diferença pode ser devida aos revisores, assumindo que os autores que solicitaram esta opção escreveram trabalhos ruins. Poderia também ser devido a revisores agindo de forma mais objetiva. No entanto, os autores do estudo duplo-cego ficaram satisfeitos e acharam que esta era a abordagem mais justa.
Bias na revisão por pares é um problema real. Houve muitos estudos mostrando que as mulheres e as minorias são menos propensas a serem publicadas, financiadas ou promovidas. Este viés pode ser tanto consciente quanto inconsciente. Dentro da publicação científica, isto significa que menos mulheres são convidadas a rever trabalhos. Isto também significa que os trabalhos das mulheres são menos citados. Há dois modelos de revisão por pares onde as identidades estão ocultas. O que é mais provável de se livrar do viés?
Double-Blind vs. Single-Blind Peer Review
A conferência de Web Search and Data Mining de 2017 proporcionou uma boa oportunidade para experimentar esta teoria. Em Ciência da Computação, os artigos freqüentemente aparecem primeiro (ou exclusivamente) em conferências revisadas por pares. O comitê do programa decidiu dividir aleatoriamente seus revisores em dois grupos. Um serviria como revisores duplamente cegos. O outro, como revisores cegos únicos. O experimento ajudaria a decidir que abordagem poderia ter maior viés.
Os autores descobriram que havia diferenças entre os grupos de revisão. Todos os revisores tiveram acesso aos títulos dos trabalhos e resumos. Com base nisso, os revisores indicaram quais trabalhos eles queriam revisar. Os revisores mono-cegos solicitaram a revisão de 22% a menos de artigos. Os revisores mono-cegos também tinham maior probabilidade de escolher trabalhos das melhores universidades ou empresas de TI para revisar. Eles também foram mais propensos a dar uma revisão positiva a trabalhos com um autor famoso.
Revisores mono-cegos têm acesso aos nomes dos autores e instituições. O estudo indica que a instituição do autor teve uma influência significativa nas decisões dos revisores mono-cegos de concorrer a um artigo. Não foi detectado nenhum viés contra autores do sexo feminino para esta conferência. Uma metarevisão combinando os dados desta conferência com outros estudos indicou que houve um viés significativo contra autores do sexo feminino.
O experimento da conferência Web Search and Data Mining mostra que revisores mono-cegos utilizam informações sobre autores e instituições em suas revisões. Pode ser que essa informação esteja ajudando os revisores a fazer melhores julgamentos. Também pode ser que isso esteja colocando em desvantagem trabalhos de instituições e autores não-prestigiosos. Dois trabalhos de igual valor podem ser classificados de forma diferente por revisores mono-cegos com base em quem escreveu o trabalho.
A Review of Peer Review
Por outro lado, a double-blind peer review proporciona uma falsa sensação de segurança. Autores bem conhecidos podem ser facilmente identificados pela natureza do seu trabalho. O artigo também pode fazer referência a trabalhos anteriores que eles publicaram. Também pode haver outras pistas, tais como a preferência por uma técnica ou composto. Isto significa que, mesmo sem os nomes, os revisores podem descobrir quem escreveu um trabalho. Seria, portanto, melhor dizer ao revisor quem escreveu o trabalho e perguntar se existe um conflito de interesses.
O processo real de remover informações do autor para esconder a identidade falha 46-73% do tempo. O problema não é identificar o autor. O problema é se os revisores têm preconceito contra autores de um determinado país, raça ou gênero? Embora o foco tenha sido principalmente nos revisores, existe muito pouca discussão sobre os preconceitos dos editores. Afinal, os editores têm a palavra final.
A revisão Peer faz parte do ciclo de pesquisa acadêmica e é claro que existe viés neste processo. O viés dos revisores muitas vezes afeta mulheres, minorias e pesquisadores de instituições não-prestigiadas. A fim de tentar combater este problema, as revistas utilizam a revisão cega por pares. No entanto, a revisão por pares cega única dá a vantagem a autores conhecidos. A revisão por pares duplo-cego pode não eliminar o viés, portanto os pesquisadores acham melhor mudar para revisão aberta.
