阿里云天池Apache Spark落幕:AI医疗进入落地实践深水期,达摩院如何用生态破局?

简介: 一次疫情,让阿里达摩院医疗 AI 团队一战成名。他们利用整个假期,疫情爆发初期迅速将技术落地,率先在「郑州小汤山」落地的第一套 CT 影像识别系统代码和图片已经被分别收藏在中国国家博物馆和中国科技馆。疫情之后,达摩院医疗 AI 产品迅速进入落地阶段,成长与痛点并存。面对技术落地面临的普遍困境,达摩院以「数字人体」系列比赛为抓手,逐渐搭建起行业生态。

微信图片_20211204181410.jpg


10 月 10 日,AI 医疗行业最高规格赛事——阿里云、英特尔(中国)有限公司联合主办的 Apache Spark AI 在杭州落下帷幕。

脊柱外科疾病已经越来越困扰着老年人及久坐的上班一族,脊柱病变发展缓慢且不明显,长此以往会压迫神经和血管,甚至造成大脑指挥失灵。

此次比赛正是瞄准脊柱外科疾病,参与者需要提供提供全自动算法来定位锥体、椎间盘的位置和相应分类以帮助筛查病例。

比赛历时 121 天,覆盖了脊柱外科疾病核心症状 7 种。来自学校、科研机构、医疗企业等各个地方的 3330 名选手组成了 3107 支参赛队伍。

这些开发者们将单个病灶诊断准确度提高至 70%,单个病例筛查时间提高至 0.05min。

阿里云天池是全球最大规模的大数据赛事平台,从 2017 年便开始深耕 AI 医疗赛道举办「数字人体」系列比赛, Apache Spark AI 已经是该系列的第三场。

天池大赛的背后,是阿里云磨砺医疗 AI 决心。


软硬协同,英特尔新款 CPU「首秀」


2017 年,阿里云天池第一届「数字人体」比赛正式启动,如今已经走过了三个年头,前两届分别聚焦于宫颈癌风险智能和肺部结节智能诊断。

今年脊柱智能诊断大赛传承了以往比赛中的开放性、权威性。

比赛并不是在阿里内部的「孤军作战」,而是延续了阿里一贯的生态打法,联合了行业中的多个合作伙伴,比如湘雅医院、解放军 301 医院等骨科医疗界权威专家;香港大学、南洋理工大学、浙江大学等学术资源。

同时首次开放了具备行业共识和全球影响力的 MRI 骨科数据集,具有行业里程碑式的意义。

但相比前两场,此次比赛也有一定的创新。相比前两场有一定的创新,首先这是「数字人体」系列首次应用开源 Apache Spark 技术。如今开源 Spark 技术已经在中国技术圈里生根发芽,获得越来越多开发者的信赖,这次天池大赛也将 Spark 技术推向了医疗领域。

另外参赛选手更加开放,除学生外,还有大量来自科研机构、互联网企业的开发者。在闯入决赛的 6 支队伍中,既有来自「北京大学前沿交叉学科研究院」的研究生,也有来自国内外医疗 AI 企业的从业人员,比如健康管理企业「妙健康」和硅谷「深透医疗」的工程师。

比赛也取得了很多成果,「我们开放了经过行业认证的 MRI 优质骨科数据集,发布了英特尔和 ECS 编制的白皮书,各个算法团队将单个病灶诊断准确度提高至 70%,单个病例筛查时间提高至 0.05min。」达摩院人工智能工程中心负责人华先胜说。

微信图片_20211204181413.jpg


值得注意的是,此次 Apache Spark 还是英特尔第三代至强可扩展处理器的「首秀」。今年 6 月 18 日英特尔全球发布了新款 CPU,Spark AI 算是其首次在公开环境中使用并产生成果。

「随着数据越来越多,我们需要有越来越大的算来解决和处理数据的问题。」阿里云计算平台总经理贾扬清表示,云平台和英特尔等硬件制造商的软硬件协同设计变得越重要,「今天硬件提供越来越多的能力,软件特别像海棉一样把算力吸起来,这才能产生高效广泛的应用。」

微信图片_20211204181415.jpg

(阿里云计算平台总经理贾扬清)

今年 6 月 18 日英特尔全球发布了第三代至强可扩展处理器(Cooper Lake),继续加大其在内置 AI 加速方面的投入,将 bfloat16 支持整合到其独有的深度学习加速技术(增强型英特尔 Deep Learning Boost)当中。支持同时为 CPU 的 AI 训练和推理性能提供加速。

根据英特尔工程师,增强型英特尔 Deep Learning Boost 可将人工智能推理和训练性能最高提升 1.87 倍,自然语言处理的训练性能提升 1.7 倍,推理提升 1.9 倍。

复赛 CPU 赛道同时使用了英特尔开源的 Analytics Zoo。Analytics Zoo 是一个统一的大数据和 AI 平台,可无缝地将 Spark、TensorFlow、PyTorch 和 Ray 程序集成到一个端到端的流水线中。

复赛选手基于 Analytics Zoo 集成的英特尔优化 TensorFlow 和 PyTorch 框架以及 bfloat16 的加速能力,有效提高了赛题的训练和推理性能。

「我们希望做的事情是让英特尔的硬件制造商和云计算的云服务商一起合作,给产业界和科研人员提供更好的算法、数据和算力。」英特尔大数据技术全球 CTO Jason dai 表示。


4 年耕耘,「AI 医疗是未来,阿里必须做」


「数字人体」系列比赛的背后是达摩院在医疗 AI 行业的长期耕耘。

「达摩院」的名字被整个医疗 AI 行业记住是在疫情期间,疫情爆发之初,达摩院就迅速将 AI 技术投入到医疗实践。

先是连夜研发智能疫情机器人,免费拨打控摸排电话排查身体异常人群;后又将 AI 算法正式用于新馆肺炎病原学检测,并与浙江省疾控中心合作,用算法将疑似病例基因分析时间缩至半小时。

2 月 15 日,达摩院还基于 5000 CT 影像样本数据快速研发出了 CT 影响算法,在郑州小汤山上线,可以在 20 秒内对新冠疑似患者 CT 影像做出判读,并量化病症的轻重程度,目前分析结果准确率达到 99%。

如今,达摩院算法识别标注的第一张新冠肺炎 CT 影像的代码和照片就被分别收藏在中国国家博物馆和中国科技馆。

或许整个达摩院都没有预料到自己的技术能如此迅速的在实践中产生作用,疫情期间的成就来源于持续 4 年的积累与坚守。

「人工智能进入医疗健康领域是一个必的事情,阿里没人做怎么行?」达摩院医疗 AI 团队的成立是来自于华先胜对未来精准的预判。在 AI 已经渗透到各行各业之时,医疗在当时还是待开垦的沃地。

微信图片_20211204181422.jpg

(达摩院人工智能工程中心负责人华先胜)

在团队刚刚搭建的 2016 年,人工智能如何在医疗领域发挥作用还并不清晰,达摩院毅然冲进了这片 “无人区”,决定先研发技术,定下了「允许医疗先不赚钱」的规定,从肺部 CT 影像开始切入医疗 AI。

2017 年,达摩院正式成立前期就在国际权威的肺结节检测大赛上打破世界纪录,将在样本数据中成功发现结节占比的比例提升至 89.7%。后来这项技术直接为第一套新冠 CT 自动诊断系统打下了基础。

此后达摩院技术持续突破,在 Nature 子刊、CVPR 等顶尖学术期刊与会议上,发表了多篇论文。

但彼时达摩院还没有清晰的技术商业化路径,直到疫情为团队,甚至整个 AI 医疗行业技术落地按下了加速键。

抗疫高峰期时,医院影像科业务量飞速增长,多数医生加班加点通宵读片,但仅靠肉眼测评耗时且不精准,不少医院认识到 AI 医疗影像判读的价值;疫苗研发迫在眉睫,一些 AI 技术也进入了医药研发领域;远程医疗逐渐普及,「智能问诊机器人」等产品的需求开始增加,医院加速进行数字化转型…

这些这些逐渐明晰的落地场景都验证了华先胜先生最初的判断。据 IDC 数据,2025 年人工智能应用市场总值将达到 1270 亿美元,其中医疗行业将占市场规模五分之一。

但需要清醒认识到的是,医疗领域专业、复杂,技术落地从来不是一个简单的事情。在整个行业都逐渐从理论向实践转型的过程中,还面临着非常多的痛点。

比如高质量数据的缺失。医疗影像数据面临着质量参差不齐,标准化程度低、人工标注难度大等诸多行业性难题。没有数据集,算法的精度和准确性便得不到保证。

行业人才也缺失。「AI」和「医疗」都是专业性极强的领域,AI + 医疗需要的也是复合型人才,但目前全球生物医学交叉领域选手都非常少。

很多医疗 AI 领域科研人员在学校都很难接触到真实的医学场景,都是从技术角度切入产品研发,学术味浓但未必适合医生使用。

新京报「寻找中国创客」报道曾指出,有时一家三甲医院能同时安装 10 余家 AI 公司的产品,同质化严重,医院真正使用的只有一两家。

如何解决?阿里的做法是,以比赛为切入点打入行业生态。


「每一个选手解决的小问题都能推动行业前进」


在一定程度上,「数字人体」系列比赛也可以说是达摩院的「黄埔军校」,一些优秀的比赛选手日后都进入到了阿里云工作,这让阿里云在医疗 AI 领域首先就跑赢在了「人才」的起跑线上。

「医疗 AI 领域还没有现成的人才,目前人才都是用非专业的,民间众筹的方式培养出来,好处就是可以挑选出对这个领域有发自内心热爱的人。

我们希望这个比赛可以为也许现在还不知道在哪里的同学种上一个梦想的种子,培养出一些复合型人才为产业座贡献。」阿里云市场营销和公共事务总经理刘湘雯说。

微信图片_20211204181426.jpg

(阿里云市场营销和公共事务总经理刘湘雯)

「数字人体」系列比赛一直都是面向全行业开发者,此次 Spark AI 更加开放,尤其鼓励企业选手参赛,所以选手在接受不同领域知识时的成长也更加明显。

此次 GPU 赛道冠军便是一个「复合型团队」,由妙宜家健康科技集团、东北大学、中山大学联合组成。

谈及夺冠原因时,妙宜家常德杰表示直言,「在比赛过程中,我们需要和学生沟通、和专业的医生沟通,算法人员和业务人员沟通一定会存在障碍,但我们最后把遇见的问题都反映在了模型里,才取得了比较好的成绩。」

就具体问题而言,来自深透医疗的项磊举了一个例子,「判断椎间盘类别时,医生会只看椎间盘在哪,但算法人员并不知道椎间盘区域在哪。这就需要与医生配合,在设计算法时先设计分割的网络,分割出椎间盘区域以提高分类的精确性。」

此外,阿里云天池联合三甲医院开放的骨科数据集也让算法的训练环境更加接近真实的医疗场景。不少来自学校和科研机构的成员则更多希望把象牙塔的技术拿到实际医疗场景中「遛一遛」。

北京大学前沿交叉学科研究院张立从读博就开始就做医疗影像处理,但始终局限在学校科研领域,他表示参赛就是想将科研成果应用到医疗实践。

「我们组的科研方向就是医疗图像处理、计算机视觉算法等,一开始就有一个非常好的人体姿态识别检测算法,看到天池比赛,觉得我们的算法也有这样这样的拓展性,希望能找到脊柱影像识别等领域的应用方向。」

数据集的开放便可以在医疗场景和科研环境中架起一道桥梁。

「我们提供 500 多份的腰椎核磁的数据,7 种典型的锥体和椎间盘的状态,多样性、困难度都比较大,非常接近真实情况」华先胜表示。

很多开发者在真实的数据中都会碰见并想方设法解决以往没有遇见的问题,比如数据噪声大、结果太容易过拟合、算法模型在训练集上表现不错但测试集上结果并不好等。

每一个选手解决的小的问题汇聚在有 50 万开发者的天池平台上,就可以推动行业向前走一步。「虽然每次只能解决一个小的问题,但通过大会的推进便可以在领域中凝练问题进而推动产品和解决方案的落地。」

比赛结束后,阿里云会汇聚行业从业者、研究人员、医生就当下实际问题进行研讨和观点碰撞,不说官话,都是在探讨实践中遇见的问题、困境和可能的解决方案。

微信图片_20211204181429.jpg


在此基础上,阿里云还将比赛的经验加以凝练总结,发布了《阿里云天池大赛赛题解析》,提取了阿里云天池 7 年 200 多场数据大赛精华,是国内首本针对大数据竞赛的图书,对于相关技巧、技术、内涵进行了详尽阐述。


阿里打法:比赛为抓手,构建 AI 医疗系统工程底座


开发者、三甲医院、专家智库、企业… 每一次的「数字人体」比赛也都是一次行业生态参与者的集会,阿里也正在医疗行业复制自己的「阿里打法」,要成为底层基础设施的建设者和行业解决方案的提供者。

「当年拿一个电脑拿一个简单的数据集应用的日子已经过去,人工智能落地非常强烈的需求就是要有一个系统工程底座,能够把从需求到解决方案的链路打通。」贾扬清说。

在贾扬清看来,人工智能在未来必然要经历一个「祛魅」过程,现在开发应用要从需求出发,需求 - 建模 - 模型迭代 - 上线 - 结果回流,是一个门厂的系统工程。

在未来,阿里云真正想要的构建的就是系统工程底座,将解决方案打包给需要的人。「五年后人工智能可能成为一个非常容易的工具给每个人使用。」

天池比赛就是构建平台非常重要的抓手。

「天池比赛已经承办了很多年,现在是做算法和代码的的平台,会聚集行业专家和开发者,我们希望在接下来的年月里能够跟大家一起共创人工智能下半场,真正实现产业数字化。」

相关文章
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
4477 166
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
机器学习/深度学习 人工智能 算法
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
NBA中国与阿里云达成合作,首发360°实时回放技术,融合AI视觉引擎,实现多视角、低延时、沉浸式观赛新体验,重新定义体育赛事观看方式。
1777 0
阿里云视频云以 360° 实时回放技术支撑 NBA 2025 中国赛 —— AI 开启“智能观赛”新体验
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI上下文工程是优化大模型交互的系统化框架,通过管理指令、记忆、知识库等上下文要素,解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术,实现上下文的采集、存储、组装与调度,提升AI Agent的准确性与协同效率,助力企业构建高效、稳定的智能应用。
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
1796 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
900 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
1479 9
Apache Flink:从实时数据分析到实时AI
|
SQL 人工智能 API
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
Apache Flink 2.1.0 正式发布,标志着实时数据处理引擎向统一 Data + AI 平台迈进。新版本强化了实时 AI 能力,支持通过 Flink SQL 和 Table API 创建及调用 AI 模型,新增 Model DDL、ML_PREDICT 表值函数等功能,实现端到端的实时 AI 工作流。同时增强了 Flink SQL 的流处理能力,引入 Process Table Functions(PTFs)、Variant 数据类型,优化流式 Join 及状态管理,显著提升作业稳定性与资源利用率。
1138 0
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
1485 33
The Past, Present and Future of Apache Flink
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
3992 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架