MIT新研究：AI仅靠看X光片就能准确识别患者种族，但没人知道为什么-技术圈

大数据文摘作品

作者：Mickey

人类对于某人是黑人、亚洲人还是白人的判断主要来自于某些外貌特征：皮肤、头发、眼睛这类外在体征，但是，如果仅从一个人的胸部X光片、肢体CT扫描和乳房X光片等影像资料，就能判断出他/她的种族，你相信吗？

当然不，毕竟连最专业的医学影像专家都无法识别。不过最近，根据麻省理工学院的一项研究，经过训练的人工智能可以有效识别这些没有被标注的X光片的主人，到底是黑人、黄种人还是白人，准确率达到90%以上，即使这些图像是损坏、裁剪和噪声的医学影像，而这一点通常是临床专家无法做到的。

并且，研究者们强调，这一识别结果不是由于某些已知与族裔相关的身体特征关联导致的（例如通过体重指数 [AUC 0·55]、疾病分布 [0·61] 和乳房密度 [ 0·61]等等）。

这一研究结果目前发布在《柳叶刀数字健康（Lancet Digit Health）》上。

AI能通过胸片识别患者种族？“我以为我的学生疯了”

AI模型在医学影像识别领域的能力早已有目共睹，但是麻省理工这一研究之所以引发了极大的关注，一方面是由于其高精度识别率背后的原因仍是个“黑盒”，另一方面，研究者们也不得不担忧，人工智能是否早已经将“种族偏见”融入了人类从未想到的方方面面。

在麻省理工的这一研究中，研究者们了使用私人（Emory CXR、Emory 胸部 CT、Emory 颈椎和 Emory 乳房 X 线照片）和公共（MIMIC-CXR、CheXpert、国家肺癌筛查试验、RSNA 肺栓塞 CT 和数字手部图谱）数据集。该团队发现被训练过的人工智能可以仅从这些医学图像中，高准确率地预测患者自我报告的种族。

利用胸部 X 光片、肢体 X 光片、胸部 CT 扫描和乳房 X 光片的成像数据，该团队训练了一个深度学习模型来识别图像的主人是白人、黑人还是亚洲人——尽管这些图像本身并没有明确提及病人的种族。

目前，即使是最有经验的医生也无法做到这一点，并且也尚不清楚该模型是如何做到的。

“当我的研究生向我展示这篇论文中的一些结果时，我认为这肯定是一个错误，”麻省理工学院电气工程和计算机科学助理教授、该论文的合著者Marzyeh Ghassemi说，“我真的以为我的学生疯了。”

为了梳理和弄清这一切的神奇的识别系统是如何实现的，研究人员进行了一系列实验。为了研究种族检测的可能机制，他们研究了诸如解剖结构差异、骨密度、图像分辨率等变量。但是，抛开这些变量后，AI仍然具有通过胸部 X 光检测种族的高能力。

该团队尝试了很多方式，试图解释AI是如何识别的：不同种族群体之间身体特征的差异（体质、乳房密度）、疾病分布（之前的研究表明，黑人患者患心脏病等健康问题的几率更高） )、特定位置或特定组织的差异、社会偏见和环境压力的影响、深度学习系统在多种人口统计和患者因素结合时检测种族的能力，以及特定图像区域是否有助于识别种族。

例如，骨密度测试使用的图像中，骨较厚的部分呈白色，较薄的部分呈灰色或半透明。科学家们认为，由于黑人通常具有较高的骨矿物质密度，因此颜色差异有助于人工智能模型检测种族。为了切断这一点，他们用过滤器调整了图像，这样模型就不会出现颜色差异。事实证明，调整影像颜色并没有扰乱模型——它仍然可以准确地预测种族。（“曲线下面积”值，即定量诊断测试准确性的衡量标准，为 0.94–0.96）。因此，模型的学习特征似乎依赖于图像的区域。

“这些结果最初令人困惑，因为我们研究团队无法为这项任务找到一个好的解释，”Marzyeh Ghassemi 表示，“即使将这些医学图像调整到已经不能被称为医学图像的样子，深度模型的识别正确率仍能保持非常高的性能。”

防不胜防的AI偏见

但这一结果也令研究者们颇为忧虑。

算法的错误训练会导致偏见，这一点毋庸置疑，而当人工智能反映了产生这些算法的人类的无意识思想、种族主义和偏见时，它可能会导致严重的伤害。

“这令人担忧，因为AI超人的能力通常更难以控制、规范和防止伤害他人。”

在临床环境中，算法识别可以帮助医生判断患者是否适合化疗，决定患者的分类，或决定是否需要转入 ICU。“我们认为算法只关注生命体征或实验室测试，但这一研究结果表明，它们也有可能关注你的种族、民族、性别，即使所有这些信息都被隐藏了，”论文合著者、麻省理工学院 IMES 首席研究科学家、哈佛医学院医学副教授 Leo Anthony Celi 说。“仅仅因为你的算法中有不同群体的代表，这并不能保证它不会延续或放大现有的差异和不平等。为算法提供更多具有代表性的数据并不是万能的。

以往在其他领域的相关案例数不胜数，例如，计算机程序错误地标记了黑人被告再次犯罪的可能性是白人被告的两倍。当人工智能使用成本作为健康需求的判断因素时，它会将黑人患者识别为比同样患病的白人患者更健康，这样可以使得花在他们身上的钱更少。自然语言处理中存在偏见的例子是无穷无尽的，甚至 AI 过去写剧本也依赖于使用有害的刻板印象来进行选角。

但麻省理工学院的科学家们的研究发现了另一种重要的、很大程度上未被充分探索的模式：医学图像。

值得注意的是，Ghassemi 和 Celi 的其他研究成果还发现，模型还可以从临床记录中识别患者自我报告的种族，即使这些记录被删去了明确的种族指标，而人类专家也无法从相同的临床记录编辑中准确预测患者种族。

“我们需要让社会科学家参与进来，只有是临床医生、公共卫生从业者、计算机科学家和工程师是不够的。医疗保健是一个社会文化问题，就像它是一个医学问题一样。我们需要另一组专家来权衡并就我们如何设计、开发、部署和评估这些算法提供意见和反馈，”Celi 说。

“我们还需要询问数据科学家，在对数据进行任何探索之前，是否存在差异？哪些患者群体被边缘化？这些差异的驱动因素是什么？是否可以获得护理？是来自护理提供者的主观性吗？如果我们不理解这一点，我们将没有机会识别算法肯带来的意外后果。”

“正如研究所展示，算法‘看到种族的事实可能很危险。但一个重要且相关的事实是，如果谨慎使用，算法也可以消除偏见，”加州大学伯克利分校副教授 Ziad Obermeyer 说，他的研究重点是人工智能应用于健康。“在我们自己的工作中，我们也发现从患者疼痛经历中学习的算法可以在 X 射线中发现新的膝关节疼痛源，这些源头对黑人患者的影响尤其严重，而放射科医师也严重忽视了这些原因。因此，就像任何工具一样，算法既可以是邪恶的力量，也可以是善良的力量——这取决于我们，以及我们在构建算法时所做的选择。”

素材来源：

https://news.mit.edu/2022/artificial-intelligence-predicts-patients-race-from-medical-images-0520

https://pubmed.ncbi.nlm.nih.gov/35568690/

点「在看」的人都变好看了哦！