MIT新研究:AI仅靠看X光片就能准确识别患者种族,但没人知道为什么

简介: MIT新研究:AI仅靠看X光片就能准确识别患者种族,但没人知道为什么

图片.png

大数据文摘作品作者:Mickey 


人类对于某人是黑人、亚洲人还是白人的判断主要来自于某些外貌特征:皮肤、头发、眼睛这类外在体征,但是,如果仅从一个人的胸部X光片、肢体CT扫描和乳房X光片等影像资料,就能判断出他/她的种族,你相信吗? 


当然不,毕竟连最专业的医学影像专家都无法识别。不过最近,根据麻省理工学院的一项研究,经过训练的人工智能可以有效识别这些没有被标注的X光片的主人,到底是黑人、黄种人还是白人,准确率达到90%以上,即使这些图像是损坏、裁剪和噪声的医学影像,而这一点通常是临床专家无法做到的。


 并且,研究者们强调,这一识别结果不是由于某些已知与族裔相关的身体特征关联导致的(例如通过体重指数 [AUC 0·55]、疾病分布 [0·61] 和乳房密度 [ 0·61]等等)。 


这一研究结果目前发布在《柳叶刀数字健康(Lancet Digit Health)》上。

图片.png


AI能通过胸片识别患者种族?“我以为我的学生疯了”

 AI模型在医学影像识别领域的能力早已有目共睹,但是麻省理工这一研究之所以引发了极大的关注,一方面是由于其高精度识别率背后的原因仍是个“黑盒”,另一方面,研究者们也不得不担忧,人工智能是否早已经将“种族偏见”融入了人类从未想到的方方面面。 


在麻省理工的这一研究中,研究者们了使用私人(Emory CXR、Emory 胸部 CT、Emory 颈椎和 Emory 乳房 X 线照片)和公共(MIMIC-CXR、CheXpert、国家肺癌筛查试验、RSNA 肺栓塞 CT 和数字手部图谱)数据集。该团队发现被训练过的人工智能可以仅从这些医学图像中,高准确率地预测患者自我报告的种族。


 利用胸部 X 光片、肢体 X 光片、胸部 CT 扫描和乳房 X 光片的成像数据,该团队训练了一个深度学习模型来识别图像的主人是白人、黑人还是亚洲人——尽管这些图像本身并没有明确提及病人的种族。 

图片.png

  目前,即使是最有经验的医生也无法做到这一点,并且也尚不清楚该模型是如何做到的。


  “当我的研究生向我展示这篇论文中的一些结果时,我认为这肯定是一个错误,”麻省理工学院电气工程和计算机科学助理教授、该论文的合著者Marzyeh Ghassemi说,“我真的以为我的学生疯了。”


 为了梳理和弄清这一切的神奇的识别系统是如何实现的,研究人员进行了一系列实验。为了研究种族检测的可能机制,他们研究了诸如解剖结构差异、骨密度、图像分辨率等变量。但是,抛开这些变量后,AI仍然具有通过胸部 X 光检测种族的高能力。 


该团队尝试了很多方式,试图解释AI是如何识别的:不同种族群体之间身体特征的差异(体质、乳房密度)、疾病分布(之前的研究表明,黑人患者患心脏病等健康问题的几率更高) )、特定位置或特定组织的差异、社会偏见和环境压力的影响、深度学习系统在多种人口统计和患者因素结合时检测种族的能力,以及特定图像区域是否有助于识别种族。  


例如,骨密度测试使用的图像中,骨较厚的部分呈白色,较薄的部分呈灰色或半透明。科学家们认为,由于黑人通常具有较高的骨矿物质密度,因此颜色差异有助于人工智能模型检测种族。为了切断这一点,他们用过滤器调整了图像,这样模型就不会出现颜色差异。事实证明,调整影像颜色并没有扰乱模型——它仍然可以准确地预测种族。(“曲线下面积”值,即定量诊断测试准确性的衡量标准,为 0.94–0.96)。因此,模型的学习特征似乎依赖于图像的区域。


  “这些结果最初令人困惑,因为我们研究团队无法为这项任务找到一个好的解释,”Marzyeh Ghassemi 表示,“即使将这些医学图像调整到已经不能被称为医学图像的样子,深度模型的识别正确率仍能保持非常高的性能。” 


防不胜防的AI偏见

 但这一结果也令研究者们颇为忧虑。 


算法的错误训练会导致偏见,这一点毋庸置疑,而当人工智能反映了产生这些算法的人类的无意识思想、种族主义和偏见时,它可能会导致严重的伤害。

图片.png


 “这令人担忧,因为AI超人的能力通常更难以控制、规范和防止伤害他人。”


 在临床环境中,算法识别可以帮助医生判断患者是否适合化疗,决定患者的分类,或决定是否需要转入 ICU。“我们认为算法只关注生命体征或实验室测试,但这一研究结果表明,它们也有可能关注你的种族、民族、性别,即使所有这些信息都被隐藏了,”论文合著者、麻省理工学院 IMES 首席研究科学家、哈佛医学院医学副教授 Leo Anthony Celi 说。“仅仅因为你的算法中有不同群体的代表,这并不能保证它不会延续或放大现有的差异和不平等。为算法提供更多具有代表性的数据并不是万能的。


 以往在其他领域的相关案例数不胜数,例如,计算机程序错误地标记了黑人被告再次犯罪的可能性是白人被告的两倍。当人工智能使用成本作为健康需求的判断因素时,它会将黑人患者识别为比同样患病的白人患者更健康,这样可以使得花在他们身上的钱更少。自然语言处理中存在偏见的例子是无穷无尽的,甚至 AI 过去写剧本也依赖于使用有害的刻板印象来进行选角。

图片.png


 但麻省理工学院的科学家们的研究发现了另一种重要的、很大程度上未被充分探索的模式:医学图像。


 值得注意的是,Ghassemi 和 Celi 的其他研究成果还发现,模型还可以从临床记录中识别患者自我报告的种族,即使这些记录被删去了明确的种族指标,而人类专家也无法从相同的临床记录编辑中准确预测患者种族。


 “我们需要让社会科学家参与进来,只有是临床医生、公共卫生从业者、计算机科学家和工程师是不够的。医疗保健是一个社会文化问题,就像它是一个医学问题一样。我们需要另一组专家来权衡并就我们如何设计、开发、部署和评估这些算法提供意见和反馈,”Celi 说。


 “我们还需要询问数据科学家,在对数据进行任何探索之前,是否存在差异?哪些患者群体被边缘化?这些差异的驱动因素是什么?是否可以获得护理?是来自护理提供者的主观性吗?如果我们不理解这一点,我们将没有机会识别算法肯带来的意外后果。” 


“正如研究所展示,算法‘看到种族的事实可能很危险。但一个重要且相关的事实是,如果谨慎使用,算法也可以消除偏见,”加州大学伯克利分校副教授 Ziad Obermeyer 说,他的研究重点是人工智能应用于健康。“在我们自己的工作中,我们也发现从患者疼痛经历中学习的算法可以在 X 射线中发现新的膝关节疼痛源,这些源头对黑人患者的影响尤其严重,而放射科医师也严重忽视了这些原因。因此,就像任何工具一样,算法既可以是邪恶的力量,也可以是善良的力量——这取决于我们,以及我们在构建算法时所做的选择。”


素材来源:

https://news.mit.edu/2022/artificial-intelligence-predicts-patients-race-from-medical-images-0520

https://pubmed.ncbi.nlm.nih.gov/35568690/

目录
打赏
0
0
0
0
1034
分享
相关文章
AutoGLM沉思:智谱AI推出首个能"边想边干"的自主智能体!深度研究+多模态交互,颠覆传统AI工作模式
AutoGLM沉思是由智谱AI推出的一款开创性AI智能体,它突破性地将深度研究能力与实际操作能力融为一体,实现了AI从被动响应到主动执行的跨越式发展。
175 16
AutoGLM沉思:智谱AI推出首个能"边想边干"的自主智能体!深度研究+多模态交互,颠覆传统AI工作模式
Shandu:开源AI研究黑科技!自动挖掘多层级信息,智能生成结构化报告
Shandu 是一款开源的 AI 研究自动化工具,结合 LangChain 和 LangGraph 技术,能够自动化地进行多层次信息挖掘和分析,生成结构化的研究报告,适用于学术研究、市场分析和技术探索等多种场景。
266 8
Shandu:开源AI研究黑科技!自动挖掘多层级信息,智能生成结构化报告
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
PRefLexOR 是 MIT 团队推出的新型自学习 AI 框架,结合偏好优化和强化学习,通过递归推理和多步反思,动态生成知识图谱,支持跨领域推理和自主学习。
161 3
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
|
2月前
|
MIT 76页深度报告:AI加速创新马太效应,科学家产出分化加剧!缺乏判断力将被淘汰
近日,麻省理工学院(MIT)发布了一份76页的深度研究报告,探讨AI对科学发现和创新的影响。研究对象为1018名美国科学家,结果显示AI使新材料发现增加44%,专利申请增长39%,产品创新提升17%。然而,AI对高能力科学家的产出提升更显著,加剧了科学家间的分化。AI还改变了科学家的工作内容,减少了创意构思时间,增加了评估任务,导致工作满意度下降,但科学家对AI的信心增强。报告全面分析了AI带来的机遇与挑战。论文地址:https://conference.nber.org/conf_papers/f210475.pdf
85 14
ProtGPS:MIT再造生命科学新基建!蛋白质AI一键预测定位+设计新序列,登Nature子刊
ProtGPS 是麻省理工学院和怀特黑德研究所联合开发的蛋白质语言模型,能够预测蛋白质在细胞内的亚细胞定位,并设计具有特定亚细胞定位的新型蛋白质。
176 17
ProtGPS:MIT再造生命科学新基建!蛋白质AI一键预测定位+设计新序列,登Nature子刊
通古大模型:古籍研究者狂喜!华南理工开源文言文GPT:AI自动断句+写诗翻译,24亿语料喂出来的学术神器
通古大模型由华南理工大学开发,专注于古籍文言文处理,具备强大的古文句读、文白翻译和诗词创作功能。
304 11
通古大模型:古籍研究者狂喜!华南理工开源文言文GPT:AI自动断句+写诗翻译,24亿语料喂出来的学术神器
【01】人形机器人研究试验-被有些网友痛骂“工业垃圾”“人工智障”上春晚的人形AI机器人-宇树科技机器人到底怎么样??-本系列优雅草卓伊凡亲自尝试下人形机器人的制造-从0开始学习并且制作机器人-可以跟随卓伊凡
【01】人形机器人研究试验-被有些网友痛骂“工业垃圾”“人工智障”上春晚的人形AI机器人-宇树科技机器人到底怎么样??-本系列优雅草卓伊凡亲自尝试下人形机器人的制造-从0开始学习并且制作机器人-可以跟随卓伊凡
144 1
【01】人形机器人研究试验-被有些网友痛骂“工业垃圾”“人工智障”上春晚的人形AI机器人-宇树科技机器人到底怎么样??-本系列优雅草卓伊凡亲自尝试下人形机器人的制造-从0开始学习并且制作机器人-可以跟随卓伊凡
Serverless MCP 运行时业界首发,函数计算让 AI 应用最后一公里提速
作为云上托管 MCP 服务的最佳运行时,函数计算 FC 为阿里云百炼 MCP 提供弹性调用能力,用户只需提交 npx 命令即可“零改造”将开源 MCP Server 部署到云上,函数计算 FC 会准备好计算资源,并以弹性、可靠的方式运行 MCP 服务,按实际调用时长和次数计费,欢迎你在阿里云百炼和函数计算 FC 上体验 MCP 服务。
174 29
演讲实录:中小企业如何快速构建AI应用?
AI时代飞速发展,大模型和AI的应用创新不断涌现,面对百花齐放的AI模型,阿里云计算平台大数据AI解决方案总监魏博文分享如何通过阿里云提供的大数据AI一体化平台,解决企业开发难、部署繁、成本高等一系列问题,让中小企业快速搭建AI应用。
AI赋能大学计划·大模型技术与应用实战学生训练营——华东师范大学站圆满结营
4月24日,由中国软件行业校园招聘与实习公共服务平台携手阿里魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行大模型应用实战学生训练营——华东师范大学站圆满结营。
36 2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等