阿里云天池Apache Spark落幕:AI医疗进入落地实践深水期,达摩院如何用生态破局?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 一次疫情,让阿里达摩院医疗 AI 团队一战成名。他们利用整个假期,疫情爆发初期迅速将技术落地,率先在「郑州小汤山」落地的第一套 CT 影像识别系统代码和图片已经被分别收藏在中国国家博物馆和中国科技馆。疫情之后,达摩院医疗 AI 产品迅速进入落地阶段,成长与痛点并存。面对技术落地面临的普遍困境,达摩院以「数字人体」系列比赛为抓手,逐渐搭建起行业生态。

微信图片_20211204181410.jpg


10 月 10 日,AI 医疗行业最高规格赛事——阿里云、英特尔(中国)有限公司联合主办的 Apache Spark AI 在杭州落下帷幕。

脊柱外科疾病已经越来越困扰着老年人及久坐的上班一族,脊柱病变发展缓慢且不明显,长此以往会压迫神经和血管,甚至造成大脑指挥失灵。

此次比赛正是瞄准脊柱外科疾病,参与者需要提供提供全自动算法来定位锥体、椎间盘的位置和相应分类以帮助筛查病例。

比赛历时 121 天,覆盖了脊柱外科疾病核心症状 7 种。来自学校、科研机构、医疗企业等各个地方的 3330 名选手组成了 3107 支参赛队伍。

这些开发者们将单个病灶诊断准确度提高至 70%,单个病例筛查时间提高至 0.05min。

阿里云天池是全球最大规模的大数据赛事平台,从 2017 年便开始深耕 AI 医疗赛道举办「数字人体」系列比赛, Apache Spark AI 已经是该系列的第三场。

天池大赛的背后,是阿里云磨砺医疗 AI 决心。


软硬协同,英特尔新款 CPU「首秀」


2017 年,阿里云天池第一届「数字人体」比赛正式启动,如今已经走过了三个年头,前两届分别聚焦于宫颈癌风险智能和肺部结节智能诊断。

今年脊柱智能诊断大赛传承了以往比赛中的开放性、权威性。

比赛并不是在阿里内部的「孤军作战」,而是延续了阿里一贯的生态打法,联合了行业中的多个合作伙伴,比如湘雅医院、解放军 301 医院等骨科医疗界权威专家;香港大学、南洋理工大学、浙江大学等学术资源。

同时首次开放了具备行业共识和全球影响力的 MRI 骨科数据集,具有行业里程碑式的意义。

但相比前两场,此次比赛也有一定的创新。相比前两场有一定的创新,首先这是「数字人体」系列首次应用开源 Apache Spark 技术。如今开源 Spark 技术已经在中国技术圈里生根发芽,获得越来越多开发者的信赖,这次天池大赛也将 Spark 技术推向了医疗领域。

另外参赛选手更加开放,除学生外,还有大量来自科研机构、互联网企业的开发者。在闯入决赛的 6 支队伍中,既有来自「北京大学前沿交叉学科研究院」的研究生,也有来自国内外医疗 AI 企业的从业人员,比如健康管理企业「妙健康」和硅谷「深透医疗」的工程师。

比赛也取得了很多成果,「我们开放了经过行业认证的 MRI 优质骨科数据集,发布了英特尔和 ECS 编制的白皮书,各个算法团队将单个病灶诊断准确度提高至 70%,单个病例筛查时间提高至 0.05min。」达摩院人工智能工程中心负责人华先胜说。

微信图片_20211204181413.jpg


值得注意的是,此次 Apache Spark 还是英特尔第三代至强可扩展处理器的「首秀」。今年 6 月 18 日英特尔全球发布了新款 CPU,Spark AI 算是其首次在公开环境中使用并产生成果。

「随着数据越来越多,我们需要有越来越大的算来解决和处理数据的问题。」阿里云计算平台总经理贾扬清表示,云平台和英特尔等硬件制造商的软硬件协同设计变得越重要,「今天硬件提供越来越多的能力,软件特别像海棉一样把算力吸起来,这才能产生高效广泛的应用。」

微信图片_20211204181415.jpg

(阿里云计算平台总经理贾扬清)

今年 6 月 18 日英特尔全球发布了第三代至强可扩展处理器(Cooper Lake),继续加大其在内置 AI 加速方面的投入,将 bfloat16 支持整合到其独有的深度学习加速技术(增强型英特尔 Deep Learning Boost)当中。支持同时为 CPU 的 AI 训练和推理性能提供加速。

根据英特尔工程师,增强型英特尔 Deep Learning Boost 可将人工智能推理和训练性能最高提升 1.87 倍,自然语言处理的训练性能提升 1.7 倍,推理提升 1.9 倍。

复赛 CPU 赛道同时使用了英特尔开源的 Analytics Zoo。Analytics Zoo 是一个统一的大数据和 AI 平台,可无缝地将 Spark、TensorFlow、PyTorch 和 Ray 程序集成到一个端到端的流水线中。

复赛选手基于 Analytics Zoo 集成的英特尔优化 TensorFlow 和 PyTorch 框架以及 bfloat16 的加速能力,有效提高了赛题的训练和推理性能。

「我们希望做的事情是让英特尔的硬件制造商和云计算的云服务商一起合作,给产业界和科研人员提供更好的算法、数据和算力。」英特尔大数据技术全球 CTO Jason dai 表示。


4 年耕耘,「AI 医疗是未来,阿里必须做」


「数字人体」系列比赛的背后是达摩院在医疗 AI 行业的长期耕耘。

「达摩院」的名字被整个医疗 AI 行业记住是在疫情期间,疫情爆发之初,达摩院就迅速将 AI 技术投入到医疗实践。

先是连夜研发智能疫情机器人,免费拨打控摸排电话排查身体异常人群;后又将 AI 算法正式用于新馆肺炎病原学检测,并与浙江省疾控中心合作,用算法将疑似病例基因分析时间缩至半小时。

2 月 15 日,达摩院还基于 5000 CT 影像样本数据快速研发出了 CT 影响算法,在郑州小汤山上线,可以在 20 秒内对新冠疑似患者 CT 影像做出判读,并量化病症的轻重程度,目前分析结果准确率达到 99%。

如今,达摩院算法识别标注的第一张新冠肺炎 CT 影像的代码和照片就被分别收藏在中国国家博物馆和中国科技馆。

或许整个达摩院都没有预料到自己的技术能如此迅速的在实践中产生作用,疫情期间的成就来源于持续 4 年的积累与坚守。

「人工智能进入医疗健康领域是一个必的事情,阿里没人做怎么行?」达摩院医疗 AI 团队的成立是来自于华先胜对未来精准的预判。在 AI 已经渗透到各行各业之时,医疗在当时还是待开垦的沃地。

微信图片_20211204181422.jpg

(达摩院人工智能工程中心负责人华先胜)

在团队刚刚搭建的 2016 年,人工智能如何在医疗领域发挥作用还并不清晰,达摩院毅然冲进了这片 “无人区”,决定先研发技术,定下了「允许医疗先不赚钱」的规定,从肺部 CT 影像开始切入医疗 AI。

2017 年,达摩院正式成立前期就在国际权威的肺结节检测大赛上打破世界纪录,将在样本数据中成功发现结节占比的比例提升至 89.7%。后来这项技术直接为第一套新冠 CT 自动诊断系统打下了基础。

此后达摩院技术持续突破,在 Nature 子刊、CVPR 等顶尖学术期刊与会议上,发表了多篇论文。

但彼时达摩院还没有清晰的技术商业化路径,直到疫情为团队,甚至整个 AI 医疗行业技术落地按下了加速键。

抗疫高峰期时,医院影像科业务量飞速增长,多数医生加班加点通宵读片,但仅靠肉眼测评耗时且不精准,不少医院认识到 AI 医疗影像判读的价值;疫苗研发迫在眉睫,一些 AI 技术也进入了医药研发领域;远程医疗逐渐普及,「智能问诊机器人」等产品的需求开始增加,医院加速进行数字化转型…

这些这些逐渐明晰的落地场景都验证了华先胜先生最初的判断。据 IDC 数据,2025 年人工智能应用市场总值将达到 1270 亿美元,其中医疗行业将占市场规模五分之一。

但需要清醒认识到的是,医疗领域专业、复杂,技术落地从来不是一个简单的事情。在整个行业都逐渐从理论向实践转型的过程中,还面临着非常多的痛点。

比如高质量数据的缺失。医疗影像数据面临着质量参差不齐,标准化程度低、人工标注难度大等诸多行业性难题。没有数据集,算法的精度和准确性便得不到保证。

行业人才也缺失。「AI」和「医疗」都是专业性极强的领域,AI + 医疗需要的也是复合型人才,但目前全球生物医学交叉领域选手都非常少。

很多医疗 AI 领域科研人员在学校都很难接触到真实的医学场景,都是从技术角度切入产品研发,学术味浓但未必适合医生使用。

新京报「寻找中国创客」报道曾指出,有时一家三甲医院能同时安装 10 余家 AI 公司的产品,同质化严重,医院真正使用的只有一两家。

如何解决?阿里的做法是,以比赛为切入点打入行业生态。


「每一个选手解决的小问题都能推动行业前进」


在一定程度上,「数字人体」系列比赛也可以说是达摩院的「黄埔军校」,一些优秀的比赛选手日后都进入到了阿里云工作,这让阿里云在医疗 AI 领域首先就跑赢在了「人才」的起跑线上。

「医疗 AI 领域还没有现成的人才,目前人才都是用非专业的,民间众筹的方式培养出来,好处就是可以挑选出对这个领域有发自内心热爱的人。

我们希望这个比赛可以为也许现在还不知道在哪里的同学种上一个梦想的种子,培养出一些复合型人才为产业座贡献。」阿里云市场营销和公共事务总经理刘湘雯说。

微信图片_20211204181426.jpg

(阿里云市场营销和公共事务总经理刘湘雯)

「数字人体」系列比赛一直都是面向全行业开发者,此次 Spark AI 更加开放,尤其鼓励企业选手参赛,所以选手在接受不同领域知识时的成长也更加明显。

此次 GPU 赛道冠军便是一个「复合型团队」,由妙宜家健康科技集团、东北大学、中山大学联合组成。

谈及夺冠原因时,妙宜家常德杰表示直言,「在比赛过程中,我们需要和学生沟通、和专业的医生沟通,算法人员和业务人员沟通一定会存在障碍,但我们最后把遇见的问题都反映在了模型里,才取得了比较好的成绩。」

就具体问题而言,来自深透医疗的项磊举了一个例子,「判断椎间盘类别时,医生会只看椎间盘在哪,但算法人员并不知道椎间盘区域在哪。这就需要与医生配合,在设计算法时先设计分割的网络,分割出椎间盘区域以提高分类的精确性。」

此外,阿里云天池联合三甲医院开放的骨科数据集也让算法的训练环境更加接近真实的医疗场景。不少来自学校和科研机构的成员则更多希望把象牙塔的技术拿到实际医疗场景中「遛一遛」。

北京大学前沿交叉学科研究院张立从读博就开始就做医疗影像处理,但始终局限在学校科研领域,他表示参赛就是想将科研成果应用到医疗实践。

「我们组的科研方向就是医疗图像处理、计算机视觉算法等,一开始就有一个非常好的人体姿态识别检测算法,看到天池比赛,觉得我们的算法也有这样这样的拓展性,希望能找到脊柱影像识别等领域的应用方向。」

数据集的开放便可以在医疗场景和科研环境中架起一道桥梁。

「我们提供 500 多份的腰椎核磁的数据,7 种典型的锥体和椎间盘的状态,多样性、困难度都比较大,非常接近真实情况」华先胜表示。

很多开发者在真实的数据中都会碰见并想方设法解决以往没有遇见的问题,比如数据噪声大、结果太容易过拟合、算法模型在训练集上表现不错但测试集上结果并不好等。

每一个选手解决的小的问题汇聚在有 50 万开发者的天池平台上,就可以推动行业向前走一步。「虽然每次只能解决一个小的问题,但通过大会的推进便可以在领域中凝练问题进而推动产品和解决方案的落地。」

比赛结束后,阿里云会汇聚行业从业者、研究人员、医生就当下实际问题进行研讨和观点碰撞,不说官话,都是在探讨实践中遇见的问题、困境和可能的解决方案。

微信图片_20211204181429.jpg


在此基础上,阿里云还将比赛的经验加以凝练总结,发布了《阿里云天池大赛赛题解析》,提取了阿里云天池 7 年 200 多场数据大赛精华,是国内首本针对大数据竞赛的图书,对于相关技巧、技术、内涵进行了详尽阐述。


阿里打法:比赛为抓手,构建 AI 医疗系统工程底座


开发者、三甲医院、专家智库、企业… 每一次的「数字人体」比赛也都是一次行业生态参与者的集会,阿里也正在医疗行业复制自己的「阿里打法」,要成为底层基础设施的建设者和行业解决方案的提供者。

「当年拿一个电脑拿一个简单的数据集应用的日子已经过去,人工智能落地非常强烈的需求就是要有一个系统工程底座,能够把从需求到解决方案的链路打通。」贾扬清说。

在贾扬清看来,人工智能在未来必然要经历一个「祛魅」过程,现在开发应用要从需求出发,需求 - 建模 - 模型迭代 - 上线 - 结果回流,是一个门厂的系统工程。

在未来,阿里云真正想要的构建的就是系统工程底座,将解决方案打包给需要的人。「五年后人工智能可能成为一个非常容易的工具给每个人使用。」

天池比赛就是构建平台非常重要的抓手。

「天池比赛已经承办了很多年,现在是做算法和代码的的平台,会聚集行业专家和开发者,我们希望在接下来的年月里能够跟大家一起共创人工智能下半场,真正实现产业数字化。」

相关文章
|
4天前
|
JSON 分布式计算 数据处理
加速数据处理与AI开发的利器:阿里云MaxFrame实验评测
随着数据量的爆炸式增长,传统数据分析方法逐渐显现出局限性。Python作为数据科学领域的主流语言,因其简洁易用和丰富的库支持备受青睐。阿里云推出的MaxFrame是一个专为Python开发者设计的分布式计算框架,旨在充分利用MaxCompute的强大能力,提供高效、灵活且易于使用的工具,应对大规模数据处理需求。MaxFrame不仅继承了Pandas等流行数据处理库的友好接口,还通过集成先进的分布式计算技术,显著提升了数据处理的速度和效率。
|
16天前
|
人工智能 Java Serverless
阿里云函数计算助力AI大模型快速部署
随着人工智能技术的快速发展,AI大模型已经成为企业数字化转型的重要工具。然而,对于许多业务人员、开发者以及企业来说,探索和利用AI大模型仍然面临诸多挑战。业务人员可能缺乏编程技能,难以快速上手AI模型;开发者可能受限于GPU资源,无法高效构建和部署AI应用;企业则希望简化技术门槛,以更低的成本和更高的效率利用AI大模型。
75 12
|
9天前
|
机器学习/深度学习 人工智能 算法
探索AI在医疗诊断中的应用与挑战
【10月更文挑战第21天】 本文深入探讨了人工智能(AI)技术在医疗诊断领域的应用现状与面临的挑战,旨在为读者提供一个全面的视角,了解AI如何改变传统医疗模式,以及这一变革过程中所伴随的技术、伦理和法律问题。通过分析AI技术的优势和局限性,本文旨在促进对AI在医疗领域应用的更深层次理解和讨论。
|
6天前
|
机器学习/深度学习 人工智能 运维
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
阿里云技术公开课预告:Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
|
5天前
|
人工智能 大数据 测试技术
自主和开放并举 探索下一代阿里云AI基础设施固件创新
12月13日,固件产业技术创新联盟产业峰会在杭州举行,阿里云主导的开源固件测试平台发布和PCIe Switch固件技术亮相,成为会议焦点。
|
19天前
|
人工智能 NoSQL MongoDB
阿里云与MongoDB庆祝合作五周年,展望AI赋能新未来
阿里云与MongoDB庆祝合作五周年,展望AI赋能新未来
|
14天前
|
人工智能 Cloud Native 调度
阿里云容器服务在AI智算场景的创新与实践
本文源自张凯在2024云栖大会的演讲,介绍了阿里云容器服务在AI智算领域的创新与实践。从2018年推出首个开源GPU容器共享调度方案至今,阿里云容器服务不断推进云原生AI的发展,包括增强GPU可观测性、实现多集群跨地域统一调度、优化大模型推理引擎部署、提供灵活的弹性伸缩策略等,旨在为客户提供高效、低成本的云原生AI解决方案。
|
19天前
|
机器学习/深度学习 人工智能 安全
AI技术在医疗领域的应用与挑战
本文将探讨AI技术在医疗领域的应用及其带来的挑战。我们将介绍AI技术如何改变医疗行业的面貌,包括提高诊断准确性、个性化治疗方案和预测疾病风险等方面。同时,我们也将讨论AI技术在医疗领域面临的挑战,如数据隐私和安全问题、缺乏标准化和监管框架以及医生和患者对AI技术的接受程度等。最后,我们将通过一个代码示例来展示如何使用AI技术进行疾病预测。
31 2
|
1月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
141 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
72 0