论文动机
编码器的不同类型的架构图,编码器(A-C)的结构分别来源于U-Net的编码器、解码器和全的Unet结构。
下面是上图的一些结果指标
将U-Net 的编码器和解码器都视为编码器。通过设计单个解码器来聚合 C1 到 C16 的特征,其结构与 UNet 3+ 中的全尺寸特征聚合相同。编码器(A)可以达到与编码器(C)相当的性能,而编码器(B)的性能明显下降。也就是说U-Net的解码器(图中的B部分)是可以被简化的并且不影响性能。
Half-UNet
1、统一通道数
上图说明了如何在UNet3+的第三解码器层中构造全尺寸聚合特征映射。
在U-Net和UNet 3+的每一个下采样步骤中,特征通道的数量都增加了一倍,增强了特征表达的多样性。但是这增加了模型的复杂性。在 Half-UNet 中,所有特征图的通道数是统一的,也就是减少了卷积运算中的过滤器数量。
2、全尺寸特征融合
U-Net和UNet 3+都使用串联操作进行特征融合,这需要更多的内存和计算量。而加法操作不需要额外的参数和计算复杂度。将不同比例尺的特征图上采样到原始图像的大小,然后通过加操作进行特征融合。
从上图可以看到,他只用了unet的编码器部分,也就是一半的unet,所以这就是Half-UNet的由来
3、Ghost 模块
与标准卷积相比,Half-UNet 使用 Ghost 模块来减少所需的参数和 FLOP。与 GhostNet 中一样,Ghost 模块使用廉价操作的同时生成更多的特征图。
使用 s=2,其中 s 表示固有特征图比例的倒数。一半的特征图由卷积生成,另一半由深度可分离卷积生成。最后将特征图的两部分连接起来形成输出。
结果
论文使用3个数据集
定量结果
Half-UNet†:删除 Half-UNet 中的 Ghost 模块,在乳房 X 光图像方面优于 U-Net 及其变体,在肺结节图像方面比 Half-UNet 更接近U-Net。Half-UNet† 在左心室 MRI 图像方面的表现不如 Half-UNet。
与U-Net及其变体相比,Half-UNet(有无Ghost模块)具有相似的分割精度,而参数和flop分别降低了98.6%和81.8%。
Half-UNet†u 和 Half-UNet †d 的通道数在下采样后翻倍。解码器中的特征融合有两种策略:
1、Upsampling2D + 3×3 convolution,Half-UNet†u和UNet 3+是这样做的;
2、反卷积,也就是Half-UNet†_d和U-Net所做的。
可以看到Half-UNet†u和Half-UNet†d与Half-UNet†相比,增加了所需的flop和参数。
定性结果
Half-UNet、U-Net 和 UNet 3+ 在左心室 MRI 中的定性比较。Half-UNet 可以更完整地分割心内膜和心外膜边界。
进一步的研究
在Half-UNet子网络的左侧,由于双线性上采样和加法都是线性运算,因此几乎不产生参数和计算。在Half-UNet子网络的右侧部分,由于输入通道数量较少(只有64个),并且使用了Ghost模块,卷积的代价明显小于其他结构。
Half-UNet避免了上述三种网络的问题,大大降低了所需的参数和FLOPs。
总结
根据论文表述U-Net 在医学图像分割中的成功主要归功于其分而治之的解决方案,而不是特征融合。所以作者提出了Half-UNet,简化了特征融合部分。
根据我个人的理解,Half-UNet 除了大大减少了参数和FLOPs以外,应该会在分割界限不尖锐的情况表现的比unet更好。
论文地址:Half-UNet: A Simplified U-Net Architecture for Medical Image Segmentation
https://avoid.overfit.cn/post/b6a976d524644102bec313b1a28e0375