UNet++详细解读(一)论文技术要点归纳

简介: UNet++详细解读(一)论文技术要点归纳

UNet++


概要


unet++是一种基于深度监督的编码器-解码器网络结构,并且有密集的跳跃链接。


简介


跳跃连接在分割网络中十分重要,可以结合深层和浅层的语义信息。


在FCN中跳跃连接是通过元素级别的相加来实现的,在UNet中是通过拼接操作来实现的。


是否可以将Resnet和Densnet中的密集连接移植过来?


医学上的分割需要更精确,Unet无法满足,因此提出 了UNet++。


网络架构

5.png

黑色部分是Backbone,是原先的UNet。


绿色箭头为上采样,蓝色箭头为密集跳跃连接。


绿色的模块为密集连接块,是经过左边两个部分拼接操作后组成的


跳跃连接


其中(i,j)表示第i层第j个卷积层。


H表示卷积操作和激活函数


U表示上采样


[]表示拼接操作

6.png

深度监督


所示,该结构下有4个分支,可以分为两种模式。


精确模式:4个分支取平均值结果


快速模式:只选择一个分支,其余被剪枝


损失函数

7.png

左边部分为二值交叉熵,右边为DICE系数,用于度量相似度。


实验


数据集


采用了4个不同的医学数据集

8.png

实验参数


评价指标:IOU和DICE系数。


学习率:3e-4


优化器:Adam


实验结果


如图所示,UNet++的效果始终好于另外两个。

9.png

实验结果如下图所示,在IOU评价指标上,


没有深度监督的UNet++高于基线2.8-3.3个点


有深度监督的UNet++高于没有深度监督的UNet++ 0.6个点

10.png

模型剪枝


如下图所示:UNet++L3的推理时间平均减少了32.2%,而IoU只降低了0.6点。

11.png

结论


为了满足更精确的医学图像分割的需要,我们提出了UNet++,加入了深度监督和密集连接。


在U-Net和wideU-Net上实现了3.9和3.4点的平均IoU增益。

目录
相关文章
|
机器学习/深度学习 网络架构 计算机视觉
UNet详细解读(一)论文技术要点归纳
UNet详细解读(一)论文技术要点归纳
287 0
|
4月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
56 1
|
6月前
|
机器学习/深度学习 自然语言处理
解决Transformer根本缺陷,CoPE论文爆火:所有大模型都能获得巨大改进
【6月更文挑战第9天】CoPE论文提出了一种新方法,解决Transformer模型位置处理缺陷,通过上下文依赖的位置编码增强序列元素识别,改进选择性复制、计数等任务,提升语言建模和编码任务的困惑度。但CoPE增加模型复杂性,可能受模型大小和数据量限制,且过度依赖上下文可能引入偏见。[https://arxiv.org/pdf/2405.18719]
81 6
|
机器学习/深度学习 人工智能 算法
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头
929 0
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头
|
机器学习/深度学习 计算机视觉
深度学习原理篇 第七章:Deformable DETR
简要介绍Deformable DETR的原理和代码实现。
1525 1
|
机器学习/深度学习 算法 文件存储
YOLOV7详细解读(三)技术要点归纳
YOLOV7详细解读(三)技术要点归纳
878 0
|
编解码
nnUNet 详细解读(一)论文技术要点归纳
nnUNet 详细解读(一)论文技术要点归纳
589 0
|
机器学习/深度学习 人工智能 算法
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头(一)
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头(一)
615 0
|
Go 网络架构 计算机视觉
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头(二)
目标检测模型设计准则 | YOLOv7参考的ELAN模型解读,YOLO系列模型思想的设计源头(二)
1042 0
|
机器学习/深度学习 存储 并行计算
用什么tricks能让模型训练得更快?先了解下这个问题的第一性原理
用什么tricks能让模型训练得更快?先了解下这个问题的第一性原理
118 0