AI比医生厉害?BMJ发文担忧AI的表现被 “夸大”

简介: 社会的数字化意味着我们正在以前所未有的速度积累者数据,医疗方面也不例外。据IBM 估计,每个人一生中大约会积累 100 万兆字节的数据,全球医疗保健数据的总量每隔几年就会翻一番。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

社会的数字化意味着我们正在以前所未有的速度积累者数据,医疗方面也不例外。据IBM 估计,每个人一生中大约会积累 100 万兆字节的数据,全球医疗保健数据的总量每隔几年就会翻一番。

为了处理这些大数据,越来越多的临床医生与计算机科学家和其他相关学科合作,利用人工智能 (AI) 技术来帮助检测有噪音的信号。最近的一项预测显示,医疗人工智能市场的价值从 2018 年的 20 亿美元将增长到 2025 年的 36 亿美元,复合的年增长率将达到 50%。

image

AI 是一个创新和快速发展的领域,具有改善患者护理和减轻医疗服务沉重负担的潜力。深度学习是人工智能的一个分支,在医学成像领域表现出了特别的前景。随着越来越多的研究成果的发表,各界对医学成像等领域的深度学习研究兴趣日益浓厚。

AI超越医生了吗?

近一两年,我们常看到一些媒体新闻出现诸如“研究发现,谷歌人工智能比医生早一年发现肺癌” 以及 “人工智能比医生更擅长诊断皮肤癌” 这样的标题。

媒体的宣传极大增加了公众和商业对 AI+ 医疗的兴趣,也催化技术加快实施。但实际上,这些标题背后的研究方法和偏倚风险尚未得到详细的检验。

但《英国医学杂志》(BMJ) 的研究人员最近警告说,“许多研究和媒体声称人工智能在解释医学图像方面达到与人类专家一样的水平,甚至比专家还好,但实际上 AI 的质量很差,而且被夸大了,这对患者的安全构成了风险。”

image

为了进一步研究这个问题,伦敦帝国理工学院的研究人员回顾了过去 10 年发表的研究结果,系统地检查研究设计、报告标准、偏倚风险,并将深度学习算法在医学成像方面的表现与临床专家进行比较。

他们的数据来源于 Medline、Embase、Cochrane 中央对照试验注册簿和世界卫生组织 2010 年至 2019 年 6 月的试验注册簿,包括了 7334 份研究记录和 968 个试验注册。他们通过采用随机试验登记和非随机研究方法,以公认的报告标准为衡量,对深度学习算法在医学影像像中的表现与多个临床专家进行比较。

所谓的随机试验是对研究对象进行随机化分组,设置对照组,以及应用盲法,让研究者和受试者双方均无法知晓分组结果。而 CONSORT(临床试验报告统一标准)是随机对照试验的报告标准,包括了各组受试者例数、接受已分配治疗的例数等,有助于帮助医务人员了解试验背景、目的、干预措施、随机方法和统计分析。而非随机试验则是将研究对象的分组按照研究者或患者意愿进行分组,在本试验中采用 TRIPOD 作为报告标准。

在随机临床试验中,研究人员发现了仅有 10 项有关深度学习的记录,其中有 2 项已经发表,分别是眼科和放射科,其余 8 项正在或即将招募临床患者进行试验。

AI的表现被“夸大”

在第一项试验中,招募了 350 名在中国眼科诊所的儿科患者,这些患者分别在有无 AI 平台的情况下接受白内障评估诊断,得到治疗建议。研究人员发现 AI 诊断的准确率为 87%,而专家医生的准确率达到 99%,这些结果明显低于专家医生的诊断准确性,但是 AI 平台进行诊断的平均时间却比专家的诊断速度快。

image

第二项完成的试验招募了进行肠镜检查的患者,发现 AI 系统可以显著检测息肉,有较低的误差风险,高度遵守报告标准。

而在 81 个非随机临床试验中,他们发现只有 9 项研究具有前瞻性,其中只有 6 人在真实世界(real-world)的临床环境中进行了测试。在 81 项研究中的 77 项的摘要包含了有关 AI 与临床医生表现之间的比较,有 30% 的研究表示 AI 优于临床医生。为了对研究的结果进行独立审查,他们还对原始数据和代码进行访问时,却受到严重限制,仅有 1 项研究提供了原始标签数据和代码。

通过利用偏倚风险工具对研究进行评估,研究人员还发现有超过三分之二的研究被判定有较高的偏倚风险,遵守公认的报告标准的情况较差。有四分之三的研究声称人工智能的表现可与临床医生相提并论,甚至更优于临床医生,而只有 38% 的研究表明需要进一步的前瞻性研究或试验。

image

总而言之,在医学成像领域,很少有前瞻性的深度学习研究和随机试验。大多数非随机化试验不具有前瞻性,存在较高的偏倚风险,并偏离现有的报告标准。大多数研究缺乏数据和代码可用性,而且人类比较器组通常很小。

不过研究人员也指出此次评估研究中的一些局限性,比如遗漏研究的可能性,以及对深度学习医学成像研究的关注,因此研究结果可能不适用于其他类型的人工智能。

尽管如此,他们说道,“目前存在着许多关于与临床医生等价或优于临床医生的夸大说法,这在社会层面上对患者安全和人口健康构成了潜在风险。” 他们也警告道,“过分的承诺,会使研究容易被媒体和公众曲解,结果可能不符合患者的最佳利益,也无法最大限度地保障患者的安全,而最好的办法是确保我们有高质量和透明报告的证据基础。”

参考资料:
[1] https://www.eurekalert.org/emb_releases/2020-03/b-co032320.php
[2] https://www.bmj.com/content/368/bmj.m689

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-03-29
本文作者:何静
本文来自:“学术头条”,了解相关信息可以关注“学术头条

相关文章
|
5月前
|
消息中间件 人工智能 运维
左手医生:医疗 AI 企业的云原生提效降本之路
通过使用阿里云云原生等产品,左手医生项目的上线时间缩短了 67%,运维效率提升 70% 左右,消息处理的效率也提升了 80% 左右。
|
2月前
|
人工智能 自然语言处理 小程序
【AI】Gemini:听说GPT-4你小子挺厉害
谷歌推出新AI模型Gemini Pro,支持中文并具备多模态处理能力,涵盖文本、图像、音频、视频和代码。本文通过五个问题对比Gemini Pro与ChatGPT-4的表现,包括绘画、数学题解答、成语解释、天气查询及奥运冠军名单。结果显示两者各有优势,Gemini Pro在成语解释和天气查询方面略胜一筹,而ChatGPT-4在绘画方面表现更好
32 0
【AI】Gemini:听说GPT-4你小子挺厉害
|
4月前
|
机器学习/深度学习 人工智能 算法
Scaling Law触礁数据墙?Epoch AI发文预测LLM到2028年耗尽所有文本数据
【6月更文挑战第23天】Epoch AI警告,大语言模型(LLM)可能在2026-2032年间面临“数据墙”,因人类生成文本数据耗尽。论文探讨LLM扩展限制,提出合成数据、迁移学习和提高数据效率作为应对策略,但也引发数据隐私和伦理问题。研究敦促平衡模型发展与数据资源管理[[1](https://arxiv.org/abs/2211.04325)]。
74 6
|
3月前
|
人工智能 自然语言处理 vr&ar
AI 做海报都这么厉害了?设计师不容错过的 DALL·E 3 进阶玩法~
AI 做海报都这么厉害了?设计师不容错过的 DALL·E 3 进阶玩法~
52 0
|
4月前
|
机器学习/深度学习 人工智能 算法
ChatGPT如何思考?心理学和神经科学破解AI大模型,Nature发文
【6月更文挑战第5天】Nature文章探讨了人工智能,尤其是ChatGPT这类大型语言模型(LLMs)的思考机制。随着AI复杂性的增加,理解其决策过程成为挑战。可解释AI(XAI)领域致力于揭示这些“黑盒子”的工作原理,但LLMs的规模和潜在问题(如错误信息和隐私泄露)使这一任务更具紧迫性。研究人员借助心理学和神经科学方法尝试理解模型决策,但目前仍处于早期阶段,且有争议认为模型可能只是模拟而非真正理解文本。
78 1
|
人工智能 Serverless 异构计算
【有奖体验】AI 都这么厉害了,可以看图生成文字描述!
一个可以智能识别图片,AI 智能文案描写,以后再也不用怕文案写不出来了!
|
人工智能 Serverless 异构计算
【有奖体验】AI 都这么厉害了,可以看图生成文字描述!
【有奖体验】AI 都这么厉害了,可以看图生成文字描述!
|
机器学习/深度学习 数据采集 人工智能
GNN for Science: 腾讯AI Lab、清华共同发文综述等变图神经网络
GNN for Science: 腾讯AI Lab、清华共同发文综述等变图神经网络
173 0
|
机器学习/深度学习 人工智能 自动驾驶
厉害了我的 AI:在看了上千部电影后,这个人工智能竟能帮你识别电影明星
目前 AI(人工智能)的前沿研究是关于大脑启发的人工神经网络,而这一技术已经被应用于无人驾驶的情况下让汽车减速,并且在几十种语言之间的即时翻译和医学诊断方面都有应用。
877 0
厉害了我的 AI:在看了上千部电影后,这个人工智能竟能帮你识别电影明星
|
机器学习/深度学习 人工智能 vr&ar
AI+AR,谷歌用这两样黑科技帮助全世界的医生找出肿瘤
看过电影《头号玩家》的观众应该知道,AR、VR 未来的潜力是十分巨大的,尽管技术暂时无法达到电影的地步,但是研究人员一直在努力着。
118 0
AI+AR,谷歌用这两样黑科技帮助全世界的医生找出肿瘤

热门文章

最新文章

下一篇
无影云桌面