AI医疗开创性研究:深度学习进行病变检索和匹配(31 PPT)

简介: 美国国立卫生研究院(NIH)的研究人员通过创建基于真实放射学影像的大型数据集,进行病变检索和匹配的研究。本文是相关研究在约翰霍普金斯大学 Sol Goldman国际会议上的演讲整理,该研究具有创新性的科学价值和临床价值。

本文介绍了美国国立卫生研究院(NIH)最新的一篇CVPR论文“Deep Lesion Graphs in the Wild: Relationship Learning and Organization of Significant Radiology Image Findings in a Diverse Large-scale Lesion Database”(深度病变图:在不同的大规模病变数据库中,重要放射学图像发现的关系学习和组织),主要作者是闫柯和王潇崧等研究人员。

aaa5d97fcc78afbf23c9c21c6c9230aa1861422a

对于精准癌症影像诊断和治疗方案的选取,基于内容的retrieval和instance-level相似性的描述是很重要的。人类的癌症有很严重的长尾现象,并不是简单的分类或者regression; mapping X to Y就能很好解决,所以癌症的治疗和诊断本质上最重要的是个性化(personalization)。当有一个新的病人,医生最想知道的是在以前已经治疗过的病人里面有没有谁跟他是相似的。如果能够找出相似的病人,而且知道这些病人的治疗方案以及治疗结果,医生就可以更有针对性地来设计治疗方案。而且通过对相似病人的建模,可以知道每种治疗方案的风险性以及预后效果。

虽然每个大医院都存了上百万甚至上千万的病人数据,但是目前没有很好的办法来做相似性病人的检索。这篇文章的意义是以肿瘤图像(tumor image instance)为例子,打通了一个做这个方向的技术模型。该模型可以允许一个新的肿瘤图像在以前上万的肿瘤图像中检索相似的、而且又比较完整的tumor similarity graph,这对临床工作有很大的帮助。这方面的工作以前非常少,因此这篇文章是比较有前瞻意义的。

该研究的数据涉及4000多个病人的一万多个医学图像。既使在这个数据尺度下,因为计算能力的问题,人是很难做什么的。

计算医学本质上是为了去获取临床医生想要,需要但自己又没办法做到的东西。有的病人会问到大医生如果采取了A治疗方案,预后结果会怎么样,生存率有多高?现在都是基于经验去猜的,也不能定量的计算。这篇文章就是一个很好的例子,来逐步解决这个定量精准医疗的问题。相比之下,大家比较熟悉的肺节节检测问题,是属于另外一类的问题,本来就是医生也可以做,计算的目标是使用深度学习来做辅助诊断,主要以提高医生效率为目的。

这篇文章里面用到了32000多个医生测量过的significant clinical findings,,这些测量结果是放在医院PACS/RIS放射学数据库里面作为定量的references。我们的算法通过pair wise similarity graph可以针对图像分类,包括 intra-patient matching(在同一个病人的多次影像studies中,自动的把以前测量过的同一个肿瘤影像连起来);并且允许跨病人的、基于图像相似性的检索(inter-patient similarity retrieval)。

2e1f837e7a172374f830441c26c1e184e8822bad

背景

包含多样化的图像和密集注释的大规模数据集对于计算机视觉和医学图像研究都很重要

  • 众包模式可以用于注释计算机视觉数据集,但医学图像(MI)需要专业知识和培训

  • 通过Deep Learning挖掘互联网图像可用于计算机视觉以获取自动注释;

幸运的是,像计算机视觉中的网络数据一样,大量数据源以图像存档和通信系统(PACS / RIS)的形式存在。

那么,我们可以挖掘“非结构化但非常丰富的”PACS吗?

5fd85957883fe2a3383f5314cd7e99d9573ee109

放射科医师在日常工作中可能会定期对放射学影像的某些显著的异常或“病变”进行标记和测量

d47e62d2b349aca45e42305ed6714efbe5ed61d9 多年来收集并存储在医院的PACS / RIS中
d47e62d2b349aca45e42305ed6714efbe5ed61d9 有时被称为“bookmarks”

d47e62d2b349aca45e42305ed6714efbe5ed61d9用于评估患者的状况或治疗反应

c008dbdd9e3492cc75a202e239b54c0c07e6e69f

“DeepLesion”数据集:

d47e62d2b349aca45e42305ed6714efbe5ed61d9这些数据从NIH的PACS里的bookmarks挖掘而来

21f69d4392510b06692f05f0dad5df7d9ac62384

问题定义

d47e62d2b349aca45e42305ed6714efbe5ed61d9 DeepLesion中的病变基本未排序,并且缺乏语义标签,例如肺结节,纵隔淋巴结

我们的目标是:通过“自动Instance-level的相似性建模和拓扑发现挖掘”,了解和组织大量的病变或肿瘤学发现

1. 发现他们的类型和位置

2. 从不同患者群体中发现相似的病变,即基于内容的检索

3. 跟踪同一患者几次纵向研究中的相同病变,即多次研究中的病变实例匹配或追踪

4bb145241ee0ff2f745fd06bb865555dcfe0309e

相关工作:

d47e62d2b349aca45e42305ed6714efbe5ed61d9 病变检索

d47e62d2b349aca45e42305ed6714efbe5ed61d9病变匹配

748d9b7c0c25b9f7856a5dfd001a30dbec2a1e88

监督提示(I):病变类型

d47e62d2b349aca45e42305ed6714efbe5ed61d9 我们随机选择30%病灶并手动标记为8种类型:肺,腹部,纵隔,肝,骨盆,软组织,肾和骨

d47e62d2b349aca45e42305ed6714efbe5ed61d9病变的粗糙属性

c7be8ef6dfca1290c1478821821668b442cf6952

监督提示(II):相对身体位置

d47e62d2b349aca45e42305ed6714efbe5ed61d9 在DeepLesion中,某些CT体积放在身体的一部分上,例如仅显示左半身

d47e62d2b349aca45e42305ed6714efbe5ed61d9SSBR在罕见的身体部位表现不佳,这些部位在训练组中的频率较低,例如头部和腿部

0eec779ec025e45bce691792d40177930aa1fda2

监督提示(III):病灶大小

d47e62d2b349aca45e42305ed6714efbe5ed61d9 病变直径的长轴和短轴的长度
d47e62d2b349aca45e42305ed6714efbe5ed61d9 已由放射科医师进行注释和测量

d47e62d2b349aca45e42305ed6714efbe5ed61d9范围从0.2到343毫米,中位数为15.6毫米

12aae4fdabf527f96910cf3a0a3a2486589eec25

使用顺序采样构建Triplet Network

d23d9b9cc069b7c72b8ada774c1a11c57bf2cbf4

图3第4行有标签噪声,病变D与A~C(软组织与骨盆)的类型不同,

5ec4610622bd97caa8cd143ffdc59248b9cbe78d

网络架构

d47e62d2b349aca45e42305ed6714efbe5ed61d9 主干:VGG-16
d47e62d2b349aca45e42305ed6714efbe5ed61d9 Multi-scale, multi-crop

d47e62d2b349aca45e42305ed6714efbe5ed61d9输出:对于每个病变实例,输出是一个1408D特征嵌入向量

db4e5f80f439211a101524c6b0ea1efa4a03d42a

病变组织:检索和匹配

d47e62d2b349aca45e42305ed6714efbe5ed61d9 基于内容的Inter-patient的检索:找到最近邻

d47e62d2b349aca45e42305ed6714efbe5ed61d9Intra-patient 的病变匹配:基于图形的edge pruning

0563408ac1420c79bc1621eb54b30207e3ccb8bc

实现细节:图像预处理

01e35f9bf554cbef962b61a9d73f335eb45e1ac8

实现细节:训练计划

d47e62d2b349aca45e42305ed6714efbe5ed61d9 位置和大小的每个维度的最大值归一化为1
d47e62d2b349aca45e42305ed6714efbe5ed61d9 每个mini-batch 24个five-instance序列
d47e62d2b349aca45e42305ed6714efbe5ed61d9 学习率为0.002的SGD

d47e62d2b349aca45e42305ed6714efbe5ed61d9为了训练SSBR,我们使用了来自DeepLesion的420名受试者的800个随机未标记的CT volumes

e9b5f662ccfa1745c8007a5931883eceb755a268

实验

d47e62d2b349aca45e42305ed6714efbe5ed61d9 DeepLesion的可视化:将病灶密集连接的超图投影到2D图(t-SNE)中

d47e62d2b349aca45e42305ed6714efbe5ed61d9散点图的X轴和Y轴对应于每个病变相对身体位置的X和Z坐标

cb334eb2d78bea0de2933501c696ac6f599b82d7

实验:病变检索

d47e62d2b349aca45e42305ed6714efbe5ed61d9多尺度的深部病变外观矢量,通过Triplet Network对病灶类型、位置和大小进行编码

0d785a2a653404f386161a2d8c8b068464edd770

分析和发现

d47e62d2b349aca45e42305ed6714efbe5ed61d9 当位置和大小作为监督提示时,网络在病变类型检索方面表现最佳; 甚至比只使用病变类型作为提示时更好。
d47e62d2b349aca45e42305ed6714efbe5ed61d9 位置和大小提供了学习病变相似性嵌入的重要补充信息
d47e62d2b349aca45e42305ed6714efbe5ed61d9 仅使用 coarse-scale 特征(conv5,conv4)时, location稍好,因为location主要依赖更高级的上下文信息
d47e62d2b349aca45e42305ed6714efbe5ed61d9 融合 fine-level特征(conv3,conv2)可显着提高类型和大小预测的准确性

d47e62d2b349aca45e42305ed6714efbe5ed61d9迭代病灶特征/类型细化也有帮助!

842334c14c5b9c9caf6bbbf829f1cdc21b6a1827

实验:分类

最容易混淆的类型是纵隔/肺部病变,以及腹部/肝脏/肾脏病变,因为其中一些在外观和位置上都相似。

ca412466ee6348f8e8314f8813fed0736f5141c2

实验:病变匹配

d47e62d2b349aca45e42305ed6714efbe5ed61d9 将DeepLesion中的103名患者的1313个病变手动分成593个组进行评估
d47e62d2b349aca45e42305ed6714efbe5ed61d9 每组1-11个病变
d47e62d2b349aca45e42305ed6714efbe5ed61d9 true positive decision将同一实例的两个病变分配给同一组, false positive decision将两个不同实例的病变分配给同一组

定量病变匹配的精度非常高!

bfb3799776b0685b3267e006906dbcd4d3f06997

纵向病变匹配

83bcb5893fb65140fa22d06bc900916906634047

结论

我们提供了一个大型、全面的数据集DeepLesion,其中包括从PACS挖掘的重要放射影像的findings

可用于多种类别的病变检测,检索,分类,分割......,这是开创性的研究

利用一个triplet network学习Lesion Graph Embedding,以对类型、位置和大小的相似关系进行建模

  • 所需的唯一手动工作是某些种子图像的类别标签

  • 非参数的深度放射学实例/知识表示

结果:(a)基于内容的inter-patient病变检索和(b) intra-patient的定性和定量的病变匹配


原文发布时间为:2018-04-28

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:AI医疗开创性研究:深度学习进行病变检索和匹配(31 PPT)

相关文章
|
29天前
|
机器学习/深度学习 人工智能 搜索推荐
未来AI技术在医疗领域的应用
随着人工智能技术的不断发展,AI在医疗领域的应用正日益广泛。本文将探讨未来AI技术在医疗领域的潜在价值和影响,以及其对医疗行业和患者的积极意义。
|
2天前
|
机器学习/深度学习 传感器 自动驾驶
基于深度学习的图像识别技术在自动驾驶系统中的应用研究
【4月更文挑战第20天】 本研究聚焦于深度学习技术在图像识别领域的应用,并探讨其在自动驾驶系统中的实际效用。文章首先回顾了深度学习与图像处理技术的基础知识,随后详细分析了卷积神经网络(CNN)在车辆环境感知中的关键作用。通过实验数据对比分析,本文验证了所提出算法在提高自动驾驶车辆对周围环境的识别准确性和实时性方面的有效性。最后,讨论了目前技术的局限性及未来可能的研究方向,旨在为进一步的技术突破提供参考。
|
6天前
|
机器学习/深度学习 算法 PyTorch
fast.ai 深度学习笔记(三)(3)
fast.ai 深度学习笔记(三)(3)
|
6天前
|
机器学习/深度学习 PyTorch 算法框架/工具
fast.ai 深度学习笔记(三)(1)
fast.ai 深度学习笔记(三)(1)
|
6天前
|
机器学习/深度学习 固态存储 Python
|
6天前
|
机器学习/深度学习 算法框架/工具 PyTorch
|
机器学习/深度学习 自然语言处理 Web App开发
|
6天前
|
机器学习/深度学习 API 调度
|
机器学习/深度学习 计算机视觉 存储
|
6天前
|
机器学习/深度学习 自然语言处理 搜索推荐