CVPR2017精彩论文解读:用于生物医学图像分析的精细调节卷积神经网络

简介:

雷锋网(公众号:雷锋网)AI科技评论按:虽然CVPR 2017已经落下帷幕,但对精彩论文的解读还在继续。下文是宜远智能的首席科学家刘凯对此次大会收录的《用于生物医学图像分析的精细调节卷积神经网络:主动性&增量性》(Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally)一文进行的解读。

文章介绍:

这篇主要针对医学图像处理领域标注数据匮乏的问题,如何通过卷积神经网络(CNN)的Fine-tune和主动学习(Active Learning)来解决。使用CNN进行生物医学图像分析在最近几年得到了比较多的关注,但面临的一个问题是缺乏大量的标注数据,相比imagenet,对医学图像进行标注需要大量的专业背景知识,为了节约标注的成本和时间,这篇论文提供了一个新型的方法AIFT(Active,Incremental Fine-Tuning),把主动学习和迁移学习集成到一个框架。AIFT算法开始是直接使用一个预训练从未标注数据里找一些比较值得标注的样本,然后模型持续的加入新标注的数据,一直做微调。

AIFT方法是在CAD(计算机辅助诊断)系统的环境下使用,CAD可以生成候选集U,都是未标注数据,其中每一个候选样本(candidate)通过数据增强可以生成一系列的patches,由于这些patches来自于同一个候选样本,所以它们的标签跟该候选样本一致。

AIFT方法的主要创新点体现在如下几个方面:

  • 持续性的fine-tuning

一开始标注数据集L是空的,我们拿一个已经训练好了的CNN(比如AlexNet),让它在未标注数据集U中选b个候选集来找医生标注,这新标注的候选集将会放到标注数据集L中,来持续的增量式fine-tune那个CNN直到合格,通过实验发现,持续的fine-tuning CNN相比在原始的预训练中重复性的fine-tuning CNN,可以让数据集收敛更快。

  •  通过Active learning选择候选样本

主动学习的关键是找到一个标准来评判候选样本是否值得标注,在当前CNN中,一个候选样本生成的所有patches都应该是有差不多的预测。所以我们可以先通过这个CNN来对每个候选样本的每个patch进行预测,然后对每个候选样本,通过计算patch的熵和patch之间KL距离来衡量这个候选样本。如果熵越高,说明包含更多的信息,如果KL距离越大,说明patch间的不一致性大,所以这两个指标越高,越有可能对当前的CNN优化越大。对每个矩阵都可以生成一个包含patch的KL距离和熵的邻接矩阵R。

  • 通过少数服从多数来处理噪音

我们普遍都会使用一些自动的数据增强的方法,来提高CNN的表现,但是不可避免的给某些候选样本生成了一些难的样本,给数据集注入了一些噪音。所以为了显著的提高我们方法的鲁棒性,我们依照于当前CNN的预测,对每个候选样本只选择一部分的patch来计算熵和多样性。首先对每个候选样本的所有patch,计算平均的预测概率,如果平均概率大于0.5,我们只选择概率最高的部分patch,如果概率小于0.5,选最低的部分patch,再基于已经选择的patch,来构建得分矩阵R。

  • 预测出的结果有不同的模式

对每个候选样本进行计算所有补丁的概率分布直方图,对于概率的分布有以下几种模式:

1、patch大部分集中在0.5,不确定性很高,大多数的主动学习算法都喜欢这种候选集。

2、比a还更好,预测从0-1分布均匀,导致了更高的不确定性,因为所有的patch都是通过同一个候选集数据增强得到,他们理论上应该要有差不多的预测。这种类型的候选集有明显优化CNN模型的潜力。

3、预测分布聚集在两端,导致了更高的多样性,但是很有可能和patch的噪声有关,这是主动学习中最不喜欢的样本,因为有可能在fine-tuning的时候迷惑CNN。

4、预测分布集中在一端(0或1),包含更高的确定性,这类数据的标注优先级要降低,因为当前模型已经能够很好的预测它们了。

5、在某些补丁的预测中有更高的确定性,并且有些还和离群点有关联,这类候选集是有价值的,因为能够平滑的改善CNN的表现,尽管不能有显著的贡献,但对当前CNN模型不会有任何伤害。

应用的创新:

上述方法被应用在了结肠镜视频帧分类和肺栓塞检测上,得到了比较好的效果。前者只用了800个候选样本就达到了最好的表现,只用了5%的候选样本就代表了剩下的候选样本,因为连续的视频帧通常都差不多。后者使用了1000个样本就达到了AlexNet做Fine-tune使用2200个随机样本的效果。

该工作的主要优势包括如下几点:

1、从一个完全未标注的数据集开始,不需要初始的种子标注数据。

2、通过持续的fine-tuning而不是重复的重新训练来一步一步改善学习器。

3、通过挖掘每一个候选样本的补丁的一致性来选择值得标注的候选集。

4、自动处理噪音

5、只对每个候选集中小数量的补丁计算熵和KL距离,节约了计算。

总结下来,该工作提出的方法显著的减低标注的工作量,并且有指导的选择哪些数据需要标注,同时降低了数据增强带来的噪声影响。这个方向在医学图像处理领域有非常大的价值,相信会得到越来越多的关注。

论文地址:http://openaccess.thecvf.com/content_cvpr_2017/papers/Zhou_Fine-Tuning_Convolutional_Neural_CVPR_2017_paper.pdf

刘凯博士将于8月1日晚八点对CVPR2017收录的Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation一文进行直播讲解,详情请看下图。

CVPR2017精彩论文解读:用于生物医学图像分析的精细调节卷积神经网络

本文作者:思颖

本文转自雷锋网禁止二次转载, 原文链接
相关文章
|
1月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化TCN-LSTM时间卷积神经网络时间序列预测算法matlab仿真
本内容展示了一种基于粒子群优化(PSO)与时间卷积神经网络(TCN)的时间序列预测方法。通过 MATLAB2022a 实现,完整程序运行无水印,核心代码附详细中文注释及操作视频。算法利用 PSO 优化 TCN 的超参数(如卷积核大小、层数等),提升非线性时间序列预测性能。TCN 结构包含因果卷积层与残差连接,结合 LSTM 构建混合模型,经多次迭代选择最优超参数,最终实现更准确可靠的预测效果,适用于金融、气象等领域。
|
2月前
|
机器学习/深度学习 人工智能 算法
深度解析:基于卷积神经网络的宠物识别
宠物识别技术随着饲养规模扩大而兴起,传统手段存在局限性,基于卷积神经网络的宠物识别技术应运而生。快瞳AI通过优化MobileNet-SSD架构、多尺度特征融合及动态网络剪枝等技术,实现高效精准识别。其在智能家居、宠物医疗和防走失领域展现广泛应用前景,为宠物管理带来智能化解决方案,推动行业迈向新高度。
|
2月前
|
人工智能 算法 异构计算
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
近日,阿里云基础网络技术5篇论文被NSDI 2025主会录用。研究涵盖大模型训练网络故障诊断、仿真、容器网络性能诊断、CDN流控算法智能选择及GPU解耦推理优化等领域。其中,《Evolution of Aegis》提出增强现有体系+训练过程感知的两阶段演进路线,显著降低故障诊断耗时;《SimAI》实现高精度大模型集群训练模拟;《Learning Production-Optimized Congestion Control Selection》通过AliCCS优化CDN拥塞控制;《Prism》设计全新GPU解耦推理方案;《ScalaCN》解决容器化RDMA场景性能问题。
97 7
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
|
2月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化TCN时间卷积神经网络时间序列预测算法matlab仿真
本内容介绍了一种基于PSO(粒子群优化)改进TCN(时间卷积神经网络)的时间序列预测方法。使用Matlab2022a运行,完整程序无水印,附带核心代码中文注释及操作视频。TCN通过因果卷积层与残差连接处理序列数据,PSO优化其卷积核权重等参数以降低预测误差。算法中,粒子根据个体与全局最优位置更新速度和位置,逐步逼近最佳参数组合,提升预测性能。
|
1月前
|
机器学习/深度学习 数据采集 并行计算
基于WOA鲸鱼优化的TCN时间卷积神经网络时间序列预测算法matlab仿真
本内容介绍了一种基于TCN(Temporal Convolutional Network)与WOA(Whale Optimization Algorithm)的时间序列预测算法。TCN通过扩张卷积捕捉时间序列长距离依赖关系,结合批归一化和激活函数提取特征;WOA用于优化TCN网络参数,提高预测精度。算法流程包括数据归一化、种群初始化、适应度计算及参数更新等步骤。程序基于Matlab2022a/2024b开发,完整版含详细中文注释与操作视频,运行效果无水印展示。适用于函数优化、机器学习调参及工程设计等领域复杂任务。
|
1月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化TCN-GRU时间卷积神经网络时间序列预测算法matlab仿真
本内容涵盖基于粒子群优化(PSO)与时间卷积神经网络(TCN)的时间序列预测算法。完整程序运行效果无水印,适用于Matlab2022a版本。核心代码配有详细中文注释及操作视频。理论部分阐述了传统方法(如ARIMA)在非线性预测中的局限性,以及TCN结合PSO优化超参数的优势。模型由因果卷积层和残差连接组成,通过迭代训练与评估选择最优超参数,最终实现高精度预测,广泛应用于金融、气象等领域。
|
2月前
|
canal 负载均衡 智能网卡
阿里云洛神云网络论文入选SIGCOMM'25主会,相关实习生岗位火热招聘中
阿里云飞天洛神云网络的两项核心技术Nezha和Hermes被SIGCOMM 2025主会录用。Nezha通过计算网络解耦实现vSwitch池化架构,大幅提升网络性能;Hermes则提出用户态引导I/O事件通知框架,优化L7负载均衡。这两项技术突破解决了云网络中的关键问题,展现了阿里云在网络领域的领先实力。
304 2
|
3月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于GA遗传优化TCN-GRU时间卷积神经网络时间序列预测算法matlab仿真
本项目基于MATLAB2022a开发,提供无水印算法运行效果预览及核心程序(含详细中文注释与操作视频)。通过结合时间卷积神经网络(TCN)和遗传算法(GA),实现复杂非线性时间序列的高精度预测。TCN利用因果卷积层与残差连接提取时间特征,GA优化超参数(如卷积核大小、层数等),显著提升模型性能。项目涵盖理论概述、程序代码及完整实现流程,适用于金融、气象、工业等领域的时间序列预测任务。
|
4月前
|
机器学习/深度学习 算法 JavaScript
基于GA遗传优化TCN时间卷积神经网络时间序列预测算法matlab仿真
本内容介绍了一种基于遗传算法优化的时间卷积神经网络(TCN)用于时间序列预测的方法。算法运行于 Matlab2022a,完整程序无水印,附带核心代码、中文注释及操作视频。TCN通过因果卷积层与残差连接学习时间序列复杂特征,但其性能依赖超参数设置。遗传算法通过对种群迭代优化,确定最佳超参数组合,提升预测精度。此方法适用于金融、气象等领域,实现更准确可靠的未来趋势预测。
|
4月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于GA遗传优化TCN-LSTM时间卷积神经网络时间序列预测算法matlab仿真
本项目基于MATLAB 2022a实现了一种结合遗传算法(GA)优化的时间卷积神经网络(TCN)时间序列预测算法。通过GA全局搜索能力优化TCN超参数(如卷积核大小、层数等),显著提升模型性能,优于传统GA遗传优化TCN方法。项目提供完整代码(含详细中文注释)及操作视频,运行后无水印效果预览。 核心内容包括:1) 时间序列预测理论概述;2) TCN结构(因果卷积层与残差连接);3) GA优化流程(染色体编码、适应度评估等)。最终模型在金融、气象等领域具备广泛应用价值,可实现更精准可靠的预测结果。

热门文章

最新文章