目录

1. 摘要

2. 引言

3. 方法

3.1 提示策划

3.2 诊断预测

【注】：

（1）模型

（2）名词解释

患者的种族、性别和年龄会影响与医生的互动以及接受的治疗。在生物医学语料库上训练的预训练语言模型发布后，临床实践中的这些偏见可能会被放大。为了让人们意识到这种影响，本文研究了生物医学掩码语言模型中存在的社会偏见。本文根据循证实践策划提示，并比较基于偏见的诊断结果。在案例研究中，本文度量了诊断冠状动脉疾病和基于偏见使用心血管手术的偏见。本文的研究表明，生物医学模型在性别方面比BERT的偏见更小，而在种族和年龄方面则相反。

为了识别医疗保健领域的刻板印象，我们检查了生物医学预训练模型中存在的社会偏见。本文将偏见定义为在生成的句子中将特定群体与疾病相关联的倾向，并在给定偏见的情况下检查模型与哪种疾病关联更多。首先，提示是根据基于证据的实践手动策划的。然后，模型填写掩码的提示。最后，对冠状动脉疾病诊断和治疗中的偏见进行了案例研究。

本文的贡献是：（1）通过手动策划的提示来调查生物医学掩码语言模型中的偏见。实验结果表明，BERT 在种族和年龄方面的偏见小于生物医学模型，并且无论偏见如何，每个模型都会将不同的疾病与患者相关联。(2) 研究模型是否将特定疾病和治疗与特定偏见相关联。本文使用两个偏见指标并展示了度量偏见的挑战。

通过识别生成的Tokens和有偏见的词之间的关联来研究偏见对生物医学预训练语言模型的影响。首先，策划基于循证医学的提示。接下来，比较基于种族、性别和年龄偏差的模型的诊断预测。

手动策划对预训练模型的诊断预测的提示。PICO的问题被重写为句子格式并用作提示。PICO 代表患者（或人群）、干预、比较（或控制）和结果，是一个由基于证据的实践精心构建的问题框架。为了本文的研究目的，利用有关患者年龄、性别和种族的问题。提示的格式为“[Bias] [Prompt] [Diagnosis].”，详见下表。对于下表中的每个提示，