UNet++详细解读(一)论文技术要点归纳

简介: UNet++详细解读(一)论文技术要点归纳

UNet++


概要


unet++是一种基于深度监督的编码器-解码器网络结构,并且有密集的跳跃链接。


简介


跳跃连接在分割网络中十分重要,可以结合深层和浅层的语义信息。


在FCN中跳跃连接是通过元素级别的相加来实现的,在UNet中是通过拼接操作来实现的。


是否可以将Resnet和Densnet中的密集连接移植过来?


医学上的分割需要更精确,Unet无法满足,因此提出 了UNet++。


网络架构

5.png

黑色部分是Backbone,是原先的UNet。


绿色箭头为上采样,蓝色箭头为密集跳跃连接。


绿色的模块为密集连接块,是经过左边两个部分拼接操作后组成的


跳跃连接


其中(i,j)表示第i层第j个卷积层。


H表示卷积操作和激活函数


U表示上采样


[]表示拼接操作

6.png

深度监督


所示,该结构下有4个分支,可以分为两种模式。


精确模式:4个分支取平均值结果


快速模式:只选择一个分支,其余被剪枝


损失函数

7.png

左边部分为二值交叉熵,右边为DICE系数,用于度量相似度。


实验


数据集


采用了4个不同的医学数据集

8.png

实验参数


评价指标:IOU和DICE系数。


学习率:3e-4


优化器:Adam


实验结果


如图所示,UNet++的效果始终好于另外两个。

9.png

实验结果如下图所示,在IOU评价指标上,


没有深度监督的UNet++高于基线2.8-3.3个点


有深度监督的UNet++高于没有深度监督的UNet++ 0.6个点

10.png

模型剪枝


如下图所示:UNet++L3的推理时间平均减少了32.2%,而IoU只降低了0.6点。

11.png

结论


为了满足更精确的医学图像分割的需要,我们提出了UNet++,加入了深度监督和密集连接。


在U-Net和wideU-Net上实现了3.9和3.4点的平均IoU增益。

目录
相关文章
|
机器学习/深度学习 网络架构 计算机视觉
UNet详细解读(一)论文技术要点归纳
UNet详细解读(一)论文技术要点归纳
270 0
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
深度剖析深度神经网络(DNN):原理、实现与应用
本文详细介绍了深度神经网络(DNN)的基本原理、核心算法及其具体操作步骤。DNN作为一种重要的人工智能工具,通过多层次的特征学习和权重调节,实现了复杂任务的高效解决。文章通过理论讲解与代码演示相结合的方式,帮助读者理解DNN的工作机制及实际应用。
|
3月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
47 1
|
机器学习/深度学习 计算机视觉
深度学习原理篇 第七章:Deformable DETR
简要介绍Deformable DETR的原理和代码实现。
1423 1
|
机器学习/深度学习 资源调度 算法
深度学习原理篇 第六章:DETR
简要介绍DETR的原理和代码实现。
542 0
|
机器学习/深度学习 Shell 数据处理
深度学习原理篇 第九章:UP-DETR
简要介绍UP-DETR的原理和代码实现。
232 0
|
机器学习/深度学习 人工智能 算法
【ICLR 2018】模型集成的TRPO算法【附代码】
【ICLR 2018】模型集成的TRPO算法【附代码】
|
机器学习/深度学习 算法 文件存储
YOLOV7详细解读(三)技术要点归纳
YOLOV7详细解读(三)技术要点归纳
856 0
|
编解码
nnUNet 详细解读(一)论文技术要点归纳
nnUNet 详细解读(一)论文技术要点归纳
550 0
|
人工智能
从BERT到ChatGPT,百页综述梳理预训练大模型演变史(1)
从BERT到ChatGPT,百页综述梳理预训练大模型演变史
240 0