人工智能算法与医学影像分析— 王宇

简介: 内容简要:达摩院人工智能中心团队介绍达摩院医疗健康AI平台达摩院智能医疗影像平台客户案例达摩院AI中心医疗健康科研成果

内容简要:

达摩院人工智能中心团队介绍

达摩院医疗健康AI平台

达摩院智能医疗影像平台

客户案例

达摩院AI中心医疗健康科研成果

 

 

 

达摩院人工智能中心团队介绍

阿里云智能-达摩院-人工智能中心(Artificial Intelligence Center)是阿里云智能负责云上人工智能基础技术研发及产品落地应用团队。研究场景包括城市大脑、工业视觉、设计智能以及医疗健康。

医疗健康AI以影像诊断为切入口,人工智能中心致力于跟开发者生态结合,在影像诊断、基因分析、智能问诊、医疗搜索、公共卫生等方面为医生、病人以及相关机构提供辅助诊断和决策的AI技术支持支撑。

image.png

达摩院医疗健康AI平台

业务应用

达摩院医疗健康AI平台面向的是医疗机构、医药厂家医保监管机构卫健系统健康领域的企业以及机构和个人

算法引擎和智能计算

算法引擎

支撑这些应用的算法引擎,划分成4大模块

Ø理解:理解针对布局的分析及预测

Ø搜索:搜索非结构化数据进行结构化之后,能够提供对海量数据的汇聚检索功能。

Ø推荐:基于之前的数据,主动推荐诊疗方案以及诊疗路径。

Ø训练:为医疗科研领域能够面向医务工作者包括开发者提供一套好用的咨询平台,包含数据以及算法的生成。

智能计算

智能算法引擎下面,也就是平台算法,包括数据管理(数据接入、存储及传输)、算法调度(资源调度、算法调度)、及图文搜索引擎(把大规模的非结构化数据提供结构化的向量检索以及检索中用到的高性能计算功能)。

 

数据来源

影像数据

影像数据大放设备的CT核磁x光这类数据为主结合超声及少量的内窥镜数据

结构化数据

结构化数据是在医疗领域面更大量的数据,包括电子病历及 HIS里的运营数据。

 

承载资源

阿里云的强项强大的资源的计算功能。

包括公共云、专有云企业版、飞天敏捷版以及针对医疗行业,我们的专有运营以及我们的飞天敏捷版,以及现在正在推出的针对医疗行业的软硬体解决方案:一键一体机

达摩院医疗健康AI平台

业务应用

达摩院医疗健康AI平台面向的是医疗机构、医药厂家医保监管机构卫健系统健康领域的企业以及机构和个人

算法引擎和智能计算

算法引擎

支撑这些应用的算法引擎,划分成4大模块

Ø理解:理解针对布局的分析及预测

Ø搜索:搜索非结构化数据进行结构化之后,能够提供对海量数据的汇聚检索功能。

Ø推荐:基于之前的数据,主动推荐诊疗方案以及诊疗路径。

Ø训练:为医疗科研领域能够面向医务工作者包括开发者提供一套好用的咨询平台,包含数据以及算法的生成。

智能计算

智能算法引擎下面,也就是平台算法,包括数据管理(数据接入、存储及传输)、算法调度(资源调度、算法调度)、及图文搜索引擎(把大规模的非结构化数据提供结构化的向量检索以及检索中用到的高性能计算功能)。

 

数据来源

影像数据

影像数据大放设备的CT核磁x光这类数据为主结合超声及少量的内窥镜数据

结构化数据

结构化数据是在医疗领域面更大量的数据,包括电子病历及 HIS里的运营数据。

 

承载资源

阿里云的强项强大的资源的计算功能。

包括公共云、专有云企业版、飞天敏捷版以及针对医疗行业,我们的专有运营以及我们的飞天敏捷版,以及现在正在推出的针对医疗行业的软硬体解决方案:一键一体机

image.png

达摩院医疗健康AI中台—视觉算法

影像AI算法

算法平台中计算引擎拆分成视觉算法,视觉算法根据病种的模块产生不同病种,下面以视觉算法为例,介绍这个算法如何在平台里面发挥作用以及如何服务最终客户。 整体分为2个大的病种和模块常规胸部CT、骨科综合模块,两者分别对最终用户服务的形式是有些区别。

常规胸部CT

常规修复模块,主要是通过云PACS厂商,及时把算法功能开放给云PACS厂商,集成到PACS系统对医疗机构进行服务。医疗机构包括各级医院、区域营销中心。这种模式的好处是开发时只需要维护1个高性能且稳定的线上服务,具体应用开发是交给其他合作伙伴完成,所以整个算法维护成本相对较低。

常规胸部CT里功能比较成熟的已对外开放的,包括新冠肺炎分析、肺结节检测、胸部冠脉钙化积分的分析。

骨科综合

直接面向互联网骨科医院的临床科室,覆盖的场景会更多包括膝关节炎的分析膝关节术前测量髋关节的术前测量

服务方式是通过把算法的 API提供给互联网医院,互联网医院针对业务流程整合,提供智能化服务,面向医生患者以及器械厂商。

冠脉CTA

冠脉CTA相对来说比较特殊,主要是基于临床工作站。因为冠脉是比较强调交互,因此冠脉CTA主要放在临床工作站。

image.png达摩院智能医疗影像平台

医疗影像平台有两种集成方式

1.  智能云影像 应用系统[OEM]

临床全场景影像,从放射科临床医生到手术到会诊的终端,把合作伙伴的解决方案整合,放入智能功能,然后面向终端客户进行商业化。

医学影像融合调阅主要是在疾病的会诊场景里,包括影像科医生、临床医生、及病理医生,他们可能有会诊的需求,会结合各类的检查报告,把病人的信息进行高度的整合,最后展现给医生,方便医生进行最终的临床判断。

移动阅片 &云胶片,面向 C端用户,产品形态为移动端的应用。用户可以通过扫描二维码,能够快速看到在院内采集的影像数据以及报告,同时平台会整合AI的分析功能,把能够定量的内容展示给用户,方便用户更好的解读医生的报告。医生的报告通常跟普通患者的理解有一定区别,所以平台需要提供更容易解读的方式。

2.  达摩院智能医疗AI算法 [自研]  

平台会有自研算法,整合到不同的解决方案,包括公有云的解决方案、专有云的解决方案、一健一体机,及传统的医学图像后处理工作站。

image.png

视觉引擎:肺结节辅助诊断美年大健康案例

肺结节辅助诊断

目前已经在美年大健康里持续迭代和应用,算法流程是对肺部进行分割,然后对结节进行检测,再用三维的全体神经网络对结节的类型进行判别,最后结合分割给出肺节的大小。

算法流程包括肺、肺液、结节的分割,最后结果以定量方式给到最终用户,根据解决类型的分析给出最终结论。平台提供算法的API以及针对不同客户的数据进行优化,来提供高精度算法结果,让客户最终根据算法结果进行最终应用的开发及整合。

image.png


视觉引擎:新冠肺炎CT智能辅助诊断

针对新冠肺炎开发了新冠肺炎的 CT智能辅助诊断,这期间因为有大量的患者需要医生进行集中的阅片,医生的阅片耗时基本上在5~15分钟之间。 这款产品的算法可以提升速度<20秒,极大减轻医生的阅片压力,同时经过反复的调优,算法精确度也能>97%,所以它能基本满足医生日常工作需要。疫情爆发期间,这项技术对医生提供了非常大的帮助。

image.png

客户案例:新冠肺炎CT智能辅助诊断

新冠肺炎期间,已经620多家医院提供服务,其中国内530家,包括武汉及郑州的小汤山医院,还有日本的90家医院,新冠肺炎期间调用次数累计超过了74万次,进阶百万次的量级问题

整体结构在阿里云的基础计算,包括存储、分布式数据库进行云上服务的搭建,提供一个云上的API,然后在结合合作伙伴,把API的结果整合到他们的PX的服务器里,再根据PACS的前端展示给最终的医生用户,来方便医生用户使用

image.png

客户案例:新冠肺炎CT智能辅助诊断(海外)

新冠肺炎海外案例,这个案例除日本外,印尼、荷兰、印度、意大利、立陶宛都有合作。

特别是在疫情集中爆发的意大利,使用这款产品后非常满意。和日本最大的上市互联网公司之一M3合作,他们有日本最大的医疗门户网站,和M3一起获得日本厚生劳动省医疗器械审批,获批后在日本正式商用化,已经服务90家日本医院。

整个模式会在阿里巴巴日本节点建立服务,通过M3提供结果展示,M3会结合他们的系统来提供结果给医生定量分析,医生根据分析能够快速做出判断,对整个结构和当时服务的搭建是非常快捷和易于拓展的,很快就覆盖近上百家医院,这在传统模式上是比较困难的,但是结合日本的合作伙伴快速的做到了。

image.png

视觉引擎:智能骨科辅助诊断及康复

在骨科里的做法覆盖的场景更全面,因为面向客户不一样,骨科主要是对接互联网医院,他们是全场景的需求,包括诊前诊中、术前、术中、术后都有智能化服务需求,所以针对他们全场景进行顾客全链路的打造。

以膝关节为例,在线上的患者上传膝关节 x光片,然后算法会自动分析,告诉他严重程度,如果需要手术我们会根据 x光片给出一些定量的分析指标给到组织医师,组织医师会根据进行指标,会有大概的手术方案设计,根据手术方案会医生跟患者会进行深度互动,同时在术后可以根据康复场景,设计一些个性康复的内容,包括一些文本和图像的 AI。所以整个链路是覆盖了骨科诊疗的,基本上所有除了术中以外的所有的场景。

image.png

案例:唯医骨科智能骨科辅助诊断及分析

基于Kellgren-Lawrence分级上,可以针对X光的正位片给出膝关节炎,严重程度的分级标准主要是根据国际通用的kl分级的标准,快速给出严重程度分级。

比如股骨颈骨折的自动分级,根据国际Garden给初步进骨折的快速的分级,能给到医生和患者快速的预判。

再比如在术前可以对髋关节的正位片或膝关节全长片进行分析,告诉医生关心的一些关键的角度,长度,尺寸的选择,方便医生对假体的选择,手术方案的制定,给出一些定量化的指标,能够让医生有一个相对标准化和一致的手术方案的制定策略。

针对脊柱也做了一些分析,包括在CT脊柱的重建、在核磁上面椎间盘的重建、以及针对核磁的影像给出技术常见的退化性疾病的预测和分析。还在膝关节半月板上做一些智能分析,给出半月板损伤的检测结果,以及严重程度的分析。

image.png

视觉引擎:CTA及心肌活性辅助诊断

产品介绍:CTA及心肌活性辅助诊断,面向综合医院、心血管专科医联体、区域医共体以及各区域胸痛 中心提供CTA及心肌活性辅助诊断API。

核心功能

1.影像自动分析:冠脉树重建、冠脉分支命名、斑块类型及狭窄程度分析、基于常规胸部CT 的冠脉分支钙化积分计算以及心肌厚度分析。

2.智能辅助诊断:多种曲面重建、图像质量评估以及医生对诊断结果进行校正。

3.自动报告生成:根据医生校正结果生成标准 化诊断报告和胶片角度自动调整及打印。

4.复核反馈:资深医生复核及复核结果反馈给初审医生。

5.统计模块:初审医生阅片质量统计分析和模型误判数据记录。

客户案例:CTA及心肌活性辅助诊断

下图这个案例包括冠脉树重建,用到了基于tracker的重建方式,结合图神经网络,自动给出冠脉命名,再根据三维重建以及下载斑块的识别,给出各种斑块的识别类型,最终给到完整的冠脉分析报告

客户案例:胸部CT AI自动配准

针对影像科医师常见的工作场景会用到的功能:

影像复查,医生要对同一个病人的病灶进行跟踪和分析,因拍摄的角度需要做一些配准,开发能够让 CT能够自动快速配准的算法,在配准后的图像中医生看到病灶变化趋势、评估更为方便。

在功能开发完成后收到了医生和厂商的欢迎,以前医生靠人工旋转、肉眼评估,精度不够,这个功能对日常工作提高了效率和精度,在临床中发挥了巨大作用。

 

知识引擎:病原微生物全基因组分析系统

在疫情期间针对疫情构建基因分析功能:

面向场景

面向疾控中心医院临检中心海关等疫情的医疗机构,建立病毒的筛查和诊断功能,向有能力的实验室提供病毒基因算法筛查自动化分析和报告。

核心能力:

1.诊断报告,通过序列分析和序列拼接,分析与病毒序列的同源性,定制化给出最终报告。

2.进化分析,进化树构建,智能分析病毒传播或演化的拟时间图谱,智能分析患者感染时间 。

3.结构分析,预测病毒蛋白二级结构和三维结构。病毒抗原位点的预测。

客户价值

1.快速精准检测,提高地方疫情处理能力.核心算法优化,全面监控疫情发展和变化。

2.软硬一体模块化,简化操作和配置,即时部署和使用。

客户案例:新冠病毒全基因分析系统

基因分析系统

基因数据获取后,对基因序列进行分析,新冠期间从算法上预测新冠的基因片段。

该系统的漏诊率远远低于核酸检测。但全基因组分析流程慢,通过我们这套算法和系统大大加速全基因组测序的流程。

基于序列二级结构三维结构进行预测,开发三级结构的3D模型预测

医疗多模态搜索和推荐(在研)

多模态搜索引擎

医疗数据的类型较多,有结构化的数据非结构化数据文本的影像等,所以需要构建一个多模态的搜索引擎,能够很快对非结构化数据进行结构化,建立向量索引,能够方便科研工作者医疗方面大量的科研工作进行快速数据归类

这个功能是基于城市大脑里打磨出来的大规模的多模态检索功能未来将会把检索引擎以及向量特征提取的功能复制到医疗行业中去。

达摩院医疗健康AI中台—自训练系统规划(在研)

医疗健康AI中台是目前达摩院在重点打造的医疗健康的咨询系统

由于医疗领域的并用病种每个科室都有非常多的病种,靠人力去把这些病种做完几乎不可能,所以达摩院在开发这样的功能给临床医生,让他们能够通过这样的系统快速通过数据标注后,有一个简单的模型训练,有硬件计算资源的支撑,开发一个在医生所在医院院内系统的模型,同时可以通过这个系统发布到线上平台为其他机构提供服务。

整个系统的核心:数据收集、数据标注以及数据训练。目前的数据收集和标注部分已开发完成。集中开发机器学习训练过程的技巧和常用框架,将好的经验固化,形成产品提供给医疗工作者、开发者进行使用。

 

达摩院AI中心医疗健康科研成果

团队在多项世界大赛中取得好成绩,包括Luna16肺结节挑战大赛、肝脏分割大赛、脊柱分割大赛,在LP里也关系提取的大赛,以及多模态的图像转文本世界大赛第二名。

天池—大数据众智平台

天池大赛2020年成果发布:达摩院结合天池发布了全球第一份关注核磁相关的数据,数据量全球目前最大的,参赛队伍达到3000+,最后决出12支队伍,在业内有很大的影响力。

下图为达摩院的一些论文,如医疗图像领域的MICCAI2019-2020达摩院陆续发表多篇文章,达摩院还在CPU2020发表了多篇医学图像相关论文、医学影像顶会1SBI等。在基因方向,达摩院在Nature子刊上发表一些高分文章。

image.png

相关文章
|
1月前
|
传感器 人工智能 监控
智慧工地 AI 算法方案
智慧工地AI算法方案通过集成多种AI算法,实现对工地现场的全方位安全监控、精准质量检测和智能进度管理。该方案涵盖平台层、展现层与应用层、基础层,利用AI技术提升工地管理的效率和安全性,减少人工巡检成本,提高施工质量和进度管理的准确性。方案具备算法精准高效、系统集成度高、可扩展性强和成本效益显著等优势,适用于人员安全管理、施工质量监控和施工进度管理等多个场景。
|
15天前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
186 55
|
1月前
|
传感器 人工智能 监控
智慧电厂AI算法方案
智慧电厂AI算法方案通过深度学习和机器学习技术,实现设备故障预测、发电运行优化、安全监控和环保管理。方案涵盖平台层、展现层、应用层和基础层,具备精准诊断、智能优化、全方位监控等优势,助力电厂提升效率、降低成本、保障安全和环保合规。
智慧电厂AI算法方案
|
24天前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
129 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
22天前
|
机器学习/深度学习 缓存 人工智能
【AI系统】QNNPack 算法
QNNPACK是Marat Dukhan开发的量化神经网络计算加速库,专为移动端优化,性能卓越。本文介绍QNNPACK的实现,包括间接卷积算法、内存重排和间接缓冲区等关键技术,有效解决了传统Im2Col+GEMM方法存在的空间消耗大、缓存效率低等问题,显著提升了量化神经网络的计算效率。
32 6
【AI系统】QNNPack 算法
|
22天前
|
存储 人工智能 缓存
【AI系统】Im2Col 算法
Caffe 作为早期的 AI 框架,采用 Im2Col 方法优化卷积计算。Im2Col 将卷积操作转换为矩阵乘法,通过将输入数据重排为连续内存中的矩阵,减少内存访问次数,提高计算效率。该方法首先将输入图像转换为矩阵,然后利用 GEMM 库加速计算,最后将结果转换回原格式。这种方式显著提升了卷积计算的速度,尤其适用于通道数较多的卷积层。
47 5
【AI系统】Im2Col 算法
|
22天前
|
存储 机器学习/深度学习 人工智能
【AI系统】Winograd 算法
本文详细介绍Winograd优化算法,该算法通过增加加法操作来减少乘法操作,从而加速卷积计算。文章首先回顾Im2Col技术和空间组合优化,然后深入讲解Winograd算法原理及其在一维和二维卷积中的应用,最后讨论算法的局限性和实现步骤。Winograd算法在特定卷积参数下表现优异,但其应用范围受限。
31 2
【AI系统】Winograd 算法
|
6天前
|
缓存 算法 搜索推荐
Java中的算法优化与复杂度分析
在Java开发中,理解和优化算法的时间复杂度和空间复杂度是提升程序性能的关键。通过合理选择数据结构、避免重复计算、应用分治法等策略,可以显著提高算法效率。在实际开发中,应该根据具体需求和场景,选择合适的优化方法,从而编写出高效、可靠的代码。
20 6
|
10天前
|
人工智能 算法
AI+脱口秀,笑点能靠算法创造吗
脱口秀是一种通过幽默诙谐的语言、夸张的表情与动作引发观众笑声的表演艺术。每位演员独具风格,内容涵盖个人情感、家庭琐事及社会热点。尽管我尝试用AI生成脱口秀段子,但AI缺乏真实的情感共鸣和即兴创作能力,生成的内容显得不够自然生动,难以触及人心深处的笑点。例如,AI生成的段子虽然流畅,却少了那份不期而遇的惊喜和激情,无法真正打动观众。 简介:脱口秀是通过幽默语言和夸张表演引发笑声的艺术形式,AI生成的段子虽流畅但缺乏情感共鸣和即兴创作力,难以达到真人表演的效果。
|
1月前
|
机器学习/深度学习 传感器 人工智能
智慧无人机AI算法方案
智慧无人机AI算法方案通过集成先进的AI技术和多传感器融合,实现了无人机的自主飞行、智能避障、高效数据处理及多机协同作业,显著提升了无人机在复杂环境下的作业能力和安全性。该方案广泛应用于航拍测绘、巡检监测、应急救援和物流配送等领域,能够有效降低人工成本,提高任务执行效率和数据处理速度。
智慧无人机AI算法方案