整合全球新冠数据,华中大等开源联邦学习医学AI计算框架|Nature子刊

简介: 整合全球新冠数据,华中大等开源联邦学习医学AI计算框架|Nature子刊
12 月 15 日,Nature 子刊《自然 - 机器智能》发表了由华中科技大学人工智能学院发起、剑桥大学、斯坦福大学、约翰霍普金斯大学、MD 安德森肿瘤医院、华中科技大学同济医学院附属同济医院、附属协和医院、国家药物筛选中心等国内外权威科研机构联合开发的联邦学习开源医学人工智能(AI)计算框架(Unified CT AI Diagnostic Initiative , UCADI)。


人工智能技术正在变革传统医疗。但当前人工智能模型普遍泛化性差:模型在训练过的数据集上表现优异,但是对于未曾见过的数据,表现差别大。这个根本性的缺陷导致 AI 技术在医学、医疗应用中表现出的局限性,甚至安全问题更加突出。由于医疗数据受到个人隐私,知识产权,数据尺寸等多方面的限制,无法实现大范围、集中式的数据融合,当前医学人工智能模型通常只能在有限,甚至单一的数据集上训练。因此在这样条件下构建的医疗 AI 模型应用范围十分有限。

为了解决这个根本性问题,华中科技大学人工智能学院夏天教授与白翔教授团队提出基于联邦学习(Federated learning)开源医学人工智能计算框架(UCADI),并发表在了《自然 - 机器智能》上


论文地址:https://www.nature.com/articles/s42256-021-00421-z

此架构在保证数据安全与隐私前提下,无需传输数据,能在不同物理地点共享训练医学数据,构建泛化性强的医学 AI 模型。

不仅如此,基于 UCADI,夏天教授与白翔教授联合华中科技大学同济医学院附属同济医院、附属协和医院、武汉天佑医院、武汉中心医院、武汉儿童医院、国家药物筛选中心与英国剑桥大学医学中心(维护全欧盟新冠影像数据,包括全英 23 家医院)发起国际大合作,实现真正全球分布式共享新冠影像数据 AI 模型训练与构建。

UCADI 结构概览。

基于中英 23 家医院近万张的胸部 CT 扫描数据,研究团队验证了 UCADI 能够在保证用户数据隐私的情况下,多快好省地进行人工智能辅助诊断模型的训练和推理,实现跨国多中心的新冠病毒智能诊断。基于 UCADI 训练的 AI 新冠诊断模型相对于单个医院数据训练出的模型,不仅对新冠辅助诊断性能远超,同时在多个不同医院的验证数据集上表现出良好的泛化性与鲁棒性。

团队还进一步分析了模型的可解释性和不确定性,并验证了训练的 AI 模型能够捕捉到类似磨玻璃样阴影、小叶间隔增厚等新冠病人独有的 CT 特征。在此基础上,团队成员研究了数据异质性对模型性能的影响。

剑桥大学博士生、文章的共同一作王瀚宸发现“除了不同的医生、医院在 CT 的采集步骤上有所不同,国家与国家之间的差异更大。中英两国的 CT 数据有一个很大的区别是,中国的数据都是平扫,而英国的 CT 有很大一部分是注入造影剂后进行的增强扫描。此外,两国病人在年龄等属性上的分布也很不同,英国患者中的老年人比例非常高。这种数据上的异质性,对模型的训练是个很大的挑战。


为了应对这种数据异质性,团队首先进行了很多模型上的筛选和尝试,在几种常见的 3D 卷积网络架构中,最后选择 3D DenseNet。不仅是因为其较好的泛化性能,同时模型尺寸偏小,非常方便联邦学习中进行传输。但值得注意的是,3D DenseNet 也需要更多的计算资源。在此基础上,团队还尝试用 CycleGAN 在增强和平扫的 CT 间进行转换,取得了一些性能上的改善,但还是有相当的可提升空间。


此工作中,UCADI 框架初步展示了对于全球新冠数据的整合能力,基于全球范围数据构建的新冠诊断预测模型完全向全球开放使用,各国医疗机构可以在此基础上,利用 UCADI 进一步共享、更新、演进、优化预测模型。同时,UCADI 框架完全开源,可用于其他类型医疗数据,为未来的跨国智能诊断系统的研究与发展提供了基础设施。

团队已与剑桥大学和世界卫生组织 10 月份在德国新设立的疫情智能防控中心 (WHO Hub for Pandemic and Epidemic Intelligence) 建立进一步合作,重点研究现有的 AI 诊疗模型对识别新变种 Omicron 的鲁棒性,以及探索用持续学习 (Continual Learning) 等方法来开发一个可不断进化的联邦学习诊疗框架。

相关文章
|
11天前
|
人工智能 安全 DataX
【瓴羊数据荟】 Data x AI :大模型时代的数据治理创新实践 | 瓴羊数据Meet Up城市行第三期
第三期瓴羊数据Meetup 将于2025年1月3日在线上与大家见面,共同探讨AI时代的数据治理实践。
63 10
【瓴羊数据荟】 Data x  AI :大模型时代的数据治理创新实践 | 瓴羊数据Meet Up城市行第三期
|
11天前
|
存储 人工智能 人机交互
PC Agent:开源 AI 电脑智能体,自动收集人机交互数据,模拟认知过程实现办公自动化
PC Agent 是上海交通大学与 GAIR 实验室联合推出的智能 AI 系统,能够模拟人类认知过程,自动化执行复杂的数字任务,如组织研究材料、起草报告等,展现了卓越的数据效率和实际应用潜力。
92 1
PC Agent:开源 AI 电脑智能体,自动收集人机交互数据,模拟认知过程实现办公自动化
|
25天前
|
人工智能 缓存 并行计算
转载:【AI系统】CPU 计算本质
本文深入探讨了CPU计算性能,分析了算力敏感度及技术趋势对CPU性能的影响。文章通过具体数据和实例,讲解了CPU算力的计算方法、算力与数据加载之间的平衡,以及如何通过算力敏感度分析优化计算系统性能。同时,文章还考察了服务器、GPU和超级计算机等平台的性能发展,揭示了这些变化如何塑造我们对CPU性能的理解和期待。
转载:【AI系统】CPU 计算本质
|
4天前
|
存储 人工智能 运维
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
|
4天前
|
存储 数据采集 算法
构建AI数据管道:从数据到洞察的高效之旅最佳实践
本文探讨了大模型从数据处理、模型训练到推理的全流程解决方案,特别强调数据、算法和算力三大要素。在数据处理方面,介绍了多模态数据的高效清洗与存储优化;模型训练中,重点解决了大规模数据集和CheckPoint的高效管理;推理部分则通过P2P分布式加载等技术提升效率。案例展示了如何在云平台上实现高性能、低成本的数据处理与模型训练,确保业务场景下的最优表现。
|
4天前
|
存储 人工智能 芯片
面向AI的服务器计算互连的创新探索
面向AI的服务器计算互连创新探索主要涵盖三个方向:Scale UP互连、AI高性能网卡及CIPU技术。Scale UP互连通过ALink系统实现极致性能,支持大规模模型训练,满足智算集群需求。AI高性能网卡针对大规模GPU通信和存储挑战,自研EIC网卡提供400G带宽和RDMA卸载加速,优化网络传输。CIPU作为云基础设施核心,支持虚拟化、存储与网络资源池化,提升资源利用率和稳定性,未来将扩展至2*800G带宽,全面覆盖阿里云业务需求。这些技术共同推动了AI计算的高效互联与性能突破。
|
6天前
|
人工智能 Cloud Native 数据管理
数据+AI融合趋势洞察暨阿里云OpenLake解决方案发布
Forrester是全球领先的市场研究与咨询机构,专注于新兴技术在各领域的应用。本文探讨如何加速现代数据管理,推动人工智能与客户业务的融合创新。面对数据标准缺乏、多云环境复杂性、新兴业务场景及过多数据平台等挑战,Forrester提出构建AI就绪的数据管理基石,通过互联智能框架、全局数据管理和DataOps、端到端数据管理能力、AI赋能的数据管理以及用例驱动的策略,帮助企业实现数据和AI的深度融合,提升业务价值并降低管理成本。
|
11天前
|
存储 机器学习/深度学习 人工智能
科技云报到:人工智能时代“三大件”:生成式AI、数据、云服务
科技云报到:人工智能时代“三大件”:生成式AI、数据、云服务
|
9天前
|
机器学习/深度学习 人工智能 自动驾驶
企业内训|AI大模型在汽车行业的前沿应用研修-某汽车集团
本课程是TsingtaoAI为某汽车集团高级项目经理设计研发,课程全面系统地解析AI的发展历程、技术基础及其在汽车行业的深度应用。通过深入浅出的理论讲解、丰富的行业案例分析以及实战项目训练,学员将全面掌握机器学习、深度学习、NLP与CV等核心技术,了解自动驾驶、智能制造、车联网与智能营销等关键应用场景,洞悉AI技术对企业战略布局的深远影响。
143 97
|
14天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
12月14日,由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营