内容简要:
达摩院人工智能中心团队介绍
达摩院医疗健康AI平台
达摩院智能医疗影像平台
客户案例
达摩院AI中心医疗健康科研成果
达摩院人工智能中心团队介绍
阿里云智能-达摩院-人工智能中心(Artificial Intelligence Center)是阿里云智能负责云上人工智能基础技术研发及产品落地应用团队。研究场景包括城市大脑、工业视觉、设计智能以及医疗健康。
医疗健康AI以影像诊断为切入口,人工智能中心致力于跟开发者生态结合,在影像诊断、基因分析、智能问诊、医疗搜索、公共卫生等方面为医生、病人以及相关机构提供辅助诊断和决策的AI技术支持支撑。
达摩院医疗健康AI平台
业务应用
达摩院医疗健康AI平台面向的是医疗机构、医药厂家、医保监管机构、卫健系统、健康领域的企业以及机构和个人。
算法引擎和智能计算
算法引擎
支撑这些应用的算法引擎,划分成4大模块:
Ø理解:理解针对布局的分析及预测。
Ø搜索:搜索非结构化数据进行结构化之后,能够提供对海量数据的汇聚、检索功能。
Ø推荐:基于之前的数据,主动推荐诊疗方案以及诊疗路径。
Ø训练:为医疗科研领域能够面向医务工作者(包括开发者)提供一套好用的咨询平台,包含数据以及算法的生成。
智能计算
智能算法在引擎下面,也就是平台算法,包括数据管理(数据接入、存储及传输)、算法调度(资源调度、算法调度)、及图文搜索引擎(把大规模的非结构化数据提供结构化的向量检索,以及检索中用到的高性能计算功能)。
数据来源
影像数据
影像数据以大放设备的CT核磁、x光这类数据为主,结合超声及少量的内窥镜数据。
结构化数据
结构化数据是在医疗领域面更大量的数据,包括电子病历及 HIS里的运营数据。
承载资源
阿里云的强项:强大的云资源的计算功能。
包括公共云、专有云企业版、飞天敏捷版以及针对医疗行业,我们的专有运营以及我们的飞天敏捷版,以及现在正在推出的针对医疗行业的软硬体解决方案:一键一体机。
达摩院医疗健康AI平台
业务应用
达摩院医疗健康AI平台面向的是医疗机构、医药厂家、医保监管机构、卫健系统、健康领域的企业以及机构和个人。
算法引擎和智能计算
算法引擎
支撑这些应用的算法引擎,划分成4大模块:
Ø理解:理解针对布局的分析及预测。
Ø搜索:搜索非结构化数据进行结构化之后,能够提供对海量数据的汇聚、检索功能。
Ø推荐:基于之前的数据,主动推荐诊疗方案以及诊疗路径。
Ø训练:为医疗科研领域能够面向医务工作者(包括开发者)提供一套好用的咨询平台,包含数据以及算法的生成。
智能计算
智能算法在引擎下面,也就是平台算法,包括数据管理(数据接入、存储及传输)、算法调度(资源调度、算法调度)、及图文搜索引擎(把大规模的非结构化数据提供结构化的向量检索,以及检索中用到的高性能计算功能)。
数据来源
影像数据
影像数据以大放设备的CT核磁、x光这类数据为主,结合超声及少量的内窥镜数据。
结构化数据
结构化数据是在医疗领域面更大量的数据,包括电子病历及 HIS里的运营数据。
承载资源
阿里云的强项:强大的云资源的计算功能。
包括公共云、专有云企业版、飞天敏捷版以及针对医疗行业,我们的专有运营以及我们的飞天敏捷版,以及现在正在推出的针对医疗行业的软硬体解决方案:一键一体机。
达摩院医疗健康AI中台—视觉算法
影像AI算法
算法平台中的计算引擎拆分成视觉算法,视觉算法根据病种的模块产生不同病种,下面以视觉算法为例,介绍这个算法如何在平台里面发挥作用,以及如何服务最终客户。 整体可分为2个大的病种和模块:常规胸部CT、骨科综合模块,两者分别对最终用户服务的形式是有些区别。
常规胸部CT
常规修复模块,主要是通过云PACS厂商,及时把算法功能开放给云PACS厂商,集成到PACS系统对医疗机构进行服务。医疗机构包括各级医院、区域营销中心。这种模式的好处是开发时只需要维护1个高性能且稳定的线上服务,具体应用开发是交给其他合作伙伴完成,所以整个算法维护成本相对较低。
常规胸部CT里功能比较成熟的已对外开放的,包括新冠肺炎分析、肺结节检测、胸部冠脉钙化积分的分析。
骨科综合
直接面向互联网骨科医院的临床科室,覆盖的场景会更多。包括膝关节炎的分析、膝关节术前测量、髋关节的术前测量。
服务方式是通过把算法的 API提供给互联网医院,互联网医院针对业务流程整合,提供智能化服务,面向医生患者以及器械厂商。
冠脉CTA
冠脉CTA相对来说比较特殊,主要是基于临床工作站。因为冠脉是比较强调交互,因此冠脉CTA主要放在临床工作站。
达摩院智能医疗影像平台
医疗影像平台有两种集成方式。
1. 智能云影像 应用系统[OEM]
临床全场景影像,从放射科临床医生到手术到会诊的终端,把合作伙伴的解决方案整合,放入智能功能,然后面向终端客户进行商业化。
医学影像融合调阅,主要是在疾病的会诊场景里,包括影像科医生、临床医生、及病理医生,他们可能有会诊的需求,会结合各类的检查报告,把病人的信息进行高度的整合,最后展现给医生,方便医生进行最终的临床判断。
移动阅片 &云胶片,面向 C端用户,产品形态为移动端的应用。用户可以通过扫描二维码,能够快速看到在院内采集的影像数据以及报告,同时平台会整合AI的分析功能,把能够定量的内容展示给用户,方便用户更好的解读医生的报告。医生的报告通常跟普通患者的理解有一定区别,所以平台需要提供更容易解读的方式。
2. 达摩院智能医疗AI算法 [自研]
平台会有自研算法,整合到不同的解决方案,包括公有云的解决方案、专有云的解决方案、一健一体机,及传统的医学图像后处理工作站。
视觉引擎:肺结节辅助诊断美年大健康案例
肺结节辅助诊断
目前已经在美年大健康里持续迭代和应用,算法流程是对肺部进行分割,然后对结节进行检测,再用三维的全体神经网络对结节的类型进行判别,最后结合分割给出肺节的大小。
算法流程包括肺、肺液、结节的分割,最后结果以定量方式给到最终用户,根据解决类型的分析给出最终结论。平台提供算法的API以及针对不同客户的数据进行优化,来提供高精度算法结果,让客户最终根据算法结果进行最终应用的开发及整合。
视觉引擎:新冠肺炎CT智能辅助诊断
针对新冠肺炎开发了新冠肺炎的 CT智能辅助诊断,这期间因为有大量的患者需要医生进行集中的阅片,医生的阅片耗时基本上在5~15分钟之间。 这款产品的算法可以提升速度<20秒,极大减轻医生的阅片压力,同时经过反复的调优,算法精确度也能>97%,所以它能基本满足医生日常工作需要。疫情爆发期间,这项技术对医生提供了非常大的帮助。
客户案例:新冠肺炎CT智能辅助诊断
新冠肺炎期间,已经向620多家医院提供服务,其中国内530家,包括武汉及郑州的小汤山医院,还有日本的90家医院,新冠肺炎期间调用次数累计超过了74万次,进阶百万次的量级问题
整体结构在阿里云的基础计算,包括存储、分布式数据库进行云上服务的搭建,提供一个云上的API,然后在结合合作伙伴,把API的结果整合到他们的PX的服务器里,再根据PACS的前端展示给最终的医生用户,来方便医生用户使用
客户案例:新冠肺炎CT智能辅助诊断(海外)
新冠肺炎海外案例,这个案例除日本外,印尼、荷兰、印度、意大利、立陶宛都有合作。
特别是在疫情集中爆发的意大利,使用这款产品后非常满意。和日本最大的上市互联网公司之一M3合作,他们有日本最大的医疗门户网站,和M3一起获得日本厚生劳动省医疗器械审批,获批后在日本正式商用化,已经服务90家日本医院。
整个模式会在阿里巴巴日本节点建立服务,通过M3提供结果展示,M3会结合他们的系统来提供结果给医生定量分析,医生根据分析能够快速做出判断,对整个结构和当时服务的搭建是非常快捷和易于拓展的,很快就覆盖近上百家医院,这在传统模式上是比较困难的,但是结合日本的合作伙伴快速的做到了。
视觉引擎:智能骨科辅助诊断及康复
在骨科里的做法覆盖的场景更全面,因为面向客户不一样,骨科主要是对接互联网医院,他们是全场景的需求,包括诊前诊中、术前、术中、术后都有智能化服务需求,所以针对他们全场景进行顾客全链路的打造。
以膝关节为例,在线上的患者上传膝关节 x光片,然后算法会自动分析,告诉他严重程度,如果需要手术我们会根据 x光片给出一些定量的分析指标给到组织医师,组织医师会根据进行指标,会有大概的手术方案设计,根据手术方案会医生跟患者会进行深度互动,同时在术后可以根据康复场景,设计一些个性康复的内容,包括一些文本和图像的 AI。所以整个链路是覆盖了骨科诊疗的,基本上所有除了术中以外的所有的场景。
案例:唯医骨科智能骨科辅助诊断及分析
基于Kellgren-Lawrence分级上,可以针对X光的正位片给出膝关节炎,严重程度的分级标准主要是根据国际通用的kl分级的标准,快速给出严重程度分级。
比如股骨颈骨折的自动分级,根据国际Garden给初步进骨折的快速的分级,能给到医生和患者快速的预判。
再比如在术前可以对髋关节的正位片或膝关节全长片进行分析,告诉医生关心的一些关键的角度,长度,尺寸的选择,方便医生对假体的选择,手术方案的制定,给出一些定量化的指标,能够让医生有一个相对标准化和一致的手术方案的制定策略。
针对脊柱也做了一些分析,包括在CT脊柱的重建、在核磁上面椎间盘的重建、以及针对核磁的影像给出技术常见的退化性疾病的预测和分析。还在膝关节半月板上做一些智能分析,给出半月板损伤的检测结果,以及严重程度的分析。
视觉引擎:CTA及心肌活性辅助诊断
产品介绍:CTA及心肌活性辅助诊断,面向综合医院、心血管专科医联体、区域医共体以及各区域胸痛 中心提供CTA及心肌活性辅助诊断API。
核心功能
1.影像自动分析:冠脉树重建、冠脉分支命名、斑块类型及狭窄程度分析、基于常规胸部CT 的冠脉分支钙化积分计算以及心肌厚度分析。
2.智能辅助诊断:多种曲面重建、图像质量评估以及医生对诊断结果进行校正。
3.自动报告生成:根据医生校正结果生成标准 化诊断报告和胶片角度自动调整及打印。
4.复核反馈:资深医生复核及复核结果反馈给初审医生。
5.统计模块:初审医生阅片质量统计分析和模型误判数据记录。
客户案例:CTA及心肌活性辅助诊断
下图这个案例包括冠脉树重建,用到了基于tracker的重建方式,结合图神经网络,自动给出冠脉树命名,再根据三维重建以及下载斑块的识别,给出各种斑块的识别类型,最终给到较完整的冠脉分析报告。
客户案例:胸部CT AI自动配准
针对影像科医师常见的工作场景会用到的功能:
影像复查时,医生要对同一个病人的病灶进行跟踪和分析,因拍摄的角度需要做一些配准,开发能够让 CT能够自动快速配准的算法,在配准后的图像中医生看到病灶变化趋势、评估更为方便。
在功能开发完成后收到了医生和厂商的欢迎,以前医生靠人工旋转、肉眼评估,精度不够,这个功能对日常工作提高了效率和精度,在临床中发挥了巨大作用。
知识引擎:病原微生物全基因组分析系统
在疫情期间,针对疫情构建基因分析功能:
面向场景:
面向疾控中心、医院临检中心、海关等疫情的医疗机构,建立病毒的筛查和诊断功能,向有能力的实验室提供病毒基因算法的筛查、自动化分析和报告。
核心能力:
1.诊断报告,通过序列分析和序列拼接,分析与病毒序列的同源性,定制化给出最终报告。
2.进化分析,进化树构建,智能分析病毒传播或演化的拟时间图谱,智能分析患者感染时间 。
3.结构分析,预测病毒蛋白二级结构和三维结构。病毒抗原位点的预测。
客户价值:
1.快速精准检测,提高地方疫情处理能力.核心算法优化,全面监控疫情发展和变化。
2.软硬一体模块化,简化操作和配置,即时部署和使用。
客户案例:新冠病毒全基因分析系统
基因分析系统
基因数据获取后,对基因序列进行分析,新冠期间从算法上预测新冠的基因片段。
该系统的漏诊率远远低于核酸检测。但全基因组分析的流程慢,通过我们这套算法和系统大大加速全基因组测序的流程。
基于序列对二级结构、三维结构进行预测,开发三级结构的3D模型预测。
医疗多模态搜索和推荐(在研)
多模态搜索引擎
医疗数据的类型较多,有结构化的数据、非结构化数据、文本的影像等,所以需要构建一个多模态的搜索引擎,能够很快对非结构化数据进行结构化,建立向量索引,能够方便科研工作者在医疗方面大量的科研工作进行快速数据归类。
这个功能是基于城市大脑里打磨出来的大规模的多模态检索功能,未来将会把检索引擎以及向量特征提取的功能复制到医疗行业中去。
达摩院医疗健康AI中台—自训练系统规划(在研)
医疗健康AI中台是目前达摩院在重点打造的医疗健康的咨询系统。
由于医疗领域的并用病种每个科室都有非常多的病种,靠人力去把这些病种做完几乎不可能,所以达摩院在开发这样的功能给临床医生,让他们能够通过这样的系统快速通过数据标注后,有一个简单的模型训练,有硬件计算资源的支撑,开发一个在医生所在医院院内系统的模型,同时可以通过这个系统发布到线上平台为其他机构提供服务。
整个系统的核心:数据收集、数据标注以及数据训练。目前的数据收集和标注部分已开发完成。集中开发机器学习训练过程的技巧和常用框架,将好的经验固化,形成产品提供给医疗工作者、开发者进行使用。
达摩院AI中心医疗健康科研成果
团队在多项世界大赛中取得好成绩,包括Luna16肺结节挑战大赛、肝脏分割大赛、脊柱分割大赛,在LP里也关系提取的大赛,以及多模态的图像转文本世界大赛第二名。
天池—大数据众智平台
天池大赛2020年成果发布:达摩院结合天池发布了全球第一份关注核磁相关的数据,数据量全球目前最大的,参赛队伍达到3000+,最后决出12支队伍,在业内有很大的影响力。
下图为达摩院的一些论文,如医疗图像领域的MICCAI,2019-2020达摩院陆续发表多篇文章,达摩院还在CPU2020发表了多篇医学图像相关论文、医学影像顶会1SBI等。在基因方向,达摩院在Nature子刊上发表一些高分文章。