【CVPR2021】CondenseNetV2:用于深度网络的稀疏特征再激活

简介: 【CVPR2021】CondenseNetV2:用于深度网络的稀疏特征再激活

导读

  《CondenseNet V2: Sparse Feature Reactivation for Deep Networks》是一篇发表在IEEE Transactions on Pattern Analysis and Machine Intelligence上的论文,提出了一种名为CondenseNet V2的深度神经网络结构,用于高效地学习稀疏特征。该论文主要针对深度神经网络中的稀疏性问题,即在高层数网络中,由于卷积层的下采样和池化操作,特征图的尺寸会逐渐减小,导致某些特征图上的神经元很少被激活,从而影响了网络的性能和效率。

基础回顾

  稀疏性特征是指在数据集中,只有一小部分特征具有非零值,而其余特征则为零或接近于零。在机器学习中,稀疏性通常指的是输入特征的稀疏性。稀疏性特征具有以下几个特点:

  1. 维度高:由于每个特征都可以被视为输入向量中的一个维度,因此稀疏性特征通常具有非常高的维度。 稀疏性:稀疏性特征中,只有一小部分特征具有非零值,其余特征为零或接近于零。这种稀疏性通常可以用稀疏矩阵表示;
  2. 数据不平衡:由于只有一小部分特征具有非零值,因此稀疏性特征中通常存在类别不平衡的问题

前言

  为了解决稀疏性问题,CondenseNet V2提出了一种新的网络结构,其中每个卷积层都包含一个特征重激活模块(FRAM),该模块能够自适应地学习哪些特征图上的神经元应该被激活,并将这些神经元的输出值相加作为下一层的输入。这样,可以有效地减少稀疏性,提高网络的性能和效率。

  除此之外,CondenseNet V2还引入了一种轻量级的网络剪枝技术,即通过矩阵分解将每个卷积层的权重矩阵分解为两个较小的矩阵,并使用低秩矩阵乘法来近似原始矩阵。这种方法可以显著减少网络参数数量,进一步提高了网络的效率和泛化性能。

image.png

结构分析

CONDENSENETV2网络的结构:

  CONDENSENETV2是一种基于稠密连接的深度卷积神经网络。它是CONDENSENET的改进版本,旨在减少参数和计算量,提高模型的效率和精度。以下是CONDENSENETV2网络的结构:

  1. 输入层:接受图像数据输入。
  2. 第一个卷积层:包含卷积、批量归一化和ReLU激活函数。它的作用是提取图像的基本特征。
  3. 重复模块:由若干个稠密块组成,每个稠密块由一个压缩层和若干个卷积层组成。在稠密块中,每个卷积层的输出被连接到后面所有层的输入上。这样的稠密连接可以使特征更好地传递和复用,减少模型中的冗余参数。在压缩层中,会使用1x1卷积和通道压缩算法来减少特征图的通道数,从而进一步减少参数和计算量。
  4. 过渡层:包含卷积、批量归一化和ReLU激活函数,作用是减小特征图的大小,进一步减少参数和计算量。
  5. 全局池化层:对特征图进行平均池化,将其转换为一个全局特征向量。
  6. 全连接层:将全局特征向量映射到类别分数上,用于分类任务。


image.png

CONDENSENETV2网络相较于DENSENET的区别:

  CONDENSENETV2与CONDENSENET相比,在压缩层和过渡层中引入了新的技术,例如BottleNeckBlock和SEBlock,用于更有效地压缩特征和提高模型性能。此外,它还采用了更多的模型细节和优化策略,例如Deformable Convolution和CBAM,进一步提高了模型的效率和精度。

  相比于DenseNet,它具有以下几个显著的区别:

  1. 稠密连接方式不同:DenseNet中的稠密连接是将每个层的输出直接连接到后续层的输入上,而CondenseNetV2中的连接是通过选择性地保留重要的特征图来实现的。 具体来说,CondenseNetV2中每个层的输出会被送到一个全局矩阵中,然后通过特定的压缩算法将其压缩为一个相对较小的向量,该向量仅包含重要的特征。 后续层可以使用这个向量来恢复之前的特征图,从而实现稠密连接。
  2. 使用了Squeeze-and-Excitation(SE)模块:SE模块是一种轻量级的注意力机制,能够有选择地增强网络中有用的特征。CondenseNetV2中每个卷积层都会接一个SE模块,从而使网络能够自适应地调整不同特征的重要性。
  3. 更高效的模型压缩:CondenseNetV2采用了一系列有效的模型压缩方法,包括通道剪枝、特征图采样等,从而使得模型在保持较高精度的同时,具有更小的模型体积和更快的推理速度。

结尾

  我们在本文中主要是分析了CendensenetV2的结构,以及CendensenetV2和densenet进行比对,大家可以吸取CendensenetV2中的残差连接和密集连接连接迁移到其它网络中进行改造, 以及它的减小模型的复杂性的手段进行提高训练效率。


相关文章
|
6月前
|
机器学习/深度学习 算法 计算机视觉
卷积神经网络中的卷积层,如何提取图片的特征?
卷积神经网络中的卷积层,如何提取图片的特征?
|
4月前
|
编解码 Go 文件存储
【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络
【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络
|
5天前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
|
6月前
|
机器学习/深度学习 算法 计算机视觉
[YOLOv8/YOLOv7/YOLOv5系列算法改进NO.5]改进特征融合网络PANET为BIFPN(更新添加小目标检测层yaml)
本文介绍了改进YOLOv5以解决处理复杂背景时可能出现的错漏检问题。
257 5
|
4月前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进 - 注意力机制】Gather-Excite : 提高网络捕获长距离特征交互的能力
【YOLOv8改进 - 注意力机制】Gather-Excite : 提高网络捕获长距离特征交互的能力
|
4月前
|
机器学习/深度学习 编解码 计算机视觉
【YOLOv8改进 - 特征融合NECK】 GIRAFFEDET之GFPN :广义特征金字塔网络,高效地融合多尺度特征
YOLOv8专栏探讨了目标检测的创新改进,提出了GiraffeDet,一种轻量级主干和深度颈部模块结合的高效检测网络。GiraffeDet使用S2D-chain和GFPN,优化多尺度信息交换,提升检测性能。代码和论文可在相关链接找到。GFPN通过跳跃和跨尺度连接增强信息融合。文章还展示了核心组件如SPPV4、Focus和CSPStage的代码实现。
|
4月前
|
机器学习/深度学习 大数据 计算机视觉
【YOLOv8改进 - 特征融合】 GELAN:YOLOV9 通用高效层聚合网络,高效且涨点
YOLOv8专栏探讨了深度学习中信息瓶颈问题,提出可编程梯度信息(PGI)和广义高效层聚合网络(GELAN),改善轻量级模型的信息利用率。GELAN在MS COCO数据集上表现优越,且PGI适用于不同规模的模型,甚至能超越预训练SOTA。[论文](https://arxiv.org/pdf/2402.13616)和[代码](https://github.com/WongKinYiu/yolov9)已开源。核心组件RepNCSPELAN4整合了RepNCSP块和卷积。更多详情及配置参见相关链接。
|
4月前
|
编解码 计算机视觉 网络架构
【YOLOv10改进- 特征融合NECK】BiFPN:加权双向特征金字塔网络
YOLOv10专栏探讨了目标检测的效率提升,提出BiFPN,一种带加权和自适应融合的双向特征金字塔网络,优化了多尺度信息传递。EfficientDet系列利用这些创新在效率与性能间取得更好平衡,D7模型在COCO测试集上达到55.1 AP。YOLOv8引入MPDIoU,结合BiFPN学习分支权重,提高检测精度。详情见[YOLOv10 创新改进](https://blog.csdn.net/shangyanaf/category_12712258.html)和相关文章。
|
6月前
|
计算机视觉
【YOLOv8改进】 AFPN :渐进特征金字塔网络 (论文笔记+引入代码).md
YOLO目标检测专栏介绍了YOLO的有效改进和实战案例,包括AFPN——一种解决特征金字塔网络信息丢失问题的新方法。AFPN通过非相邻层直接融合和自适应空间融合处理多尺度特征,提高检测性能。此外,还展示了YOLOv8中引入的MPDIoU和ASFF模块的代码实现。详情可参考提供的专栏链接。
|
6月前
|
机器学习/深度学习 存储 测试技术
【YOLOv8改进】 YOLOv8 更换骨干网络之 GhostNet :通过低成本操作获得更多特征 (论文笔记+引入代码).md
YOLO目标检测专栏探讨了卷积神经网络的创新改进,如Ghost模块,它通过低成本运算生成更多特征图,降低资源消耗,适用于嵌入式设备。GhostNet利用Ghost模块实现轻量级架构,性能超越MobileNetV3。此外,文章还介绍了SegNeXt,一个高效卷积注意力网络,提升语义分割性能,参数少但效果优于EfficientNet-L2。专栏提供YOLO相关基础解析、改进方法和实战案例。