YOLO目标检测创新改进与实战案例专栏
专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
专栏链接: YOLO基础解析+创新改进+实战案例
摘要
轻量级卷积神经网络（CNNs）专为移动设备上的应用而设计，具有更快的推理速度。卷积操作只能捕获窗口区域内的局部信息，这限制了性能的进一步提升。将自注意力引入到卷积中可以很好地捕获全局信息，但这将大大增加实际速度的负担。在本文中，我们提出了一种硬件友好的注意力机制（称为DFC注意力），然后为移动应用呈现了一个新的GhostNetV2架构。所提出的DFC注意力基于全连接层构建，不仅可以在常见硬件上快速执行，还能捕获长距离像素之间的依赖关系。我们进一步重新审视了之前GhostNet中的表达性瓶颈，并提出通过DFC注意力增强通过廉价操作产生的扩展特征，以便GhostNetV2块可以同时聚合局部和长距离信息。广泛的实验展示了GhostNetV2相较于现有架构的优越性。例如，在ImageNet上，它以167M FLOPs实现了75.3%的top-1准确率，显著超过了具有类似计算成本的GhostNetV1（74.5%）。源代码将在 https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorch 和 https://gitee.com/mindspore/models/tree/master/research/cv/ghostnetv2 上提供。
创新点
GhostNetV2的创新点总结如下：
增强的特征表达能力：相比于原始的GhostNet，GhostNetV2通过引入DFC（Decoupled Fully Connected）注意力机制，有效增强了网络对长距离空间位置依赖性的捕获能力。这使得模型能够同时整合局部和远程的信息，从而提升了特征的表达力。
硬件友好的DFC注意力机制：GhostNetV2提出了一种新颖的硬件友好的DFC注意力机制，通过解耦全连接层的方式，大幅降低了计算复杂度。DFC注意力通过沿水平和垂直方向聚集特征，有效捕获全局信息，同时保持了对移动设备的高效部署能力。
高效的计算成本：通过采用DFC注意力机制和对特征进行下采样，GhostNetV2在不牺牲性能的情况下，显著减少了模型的计算成本。这使得GhostNetV2在保持轻量级的同时，还能在移动设备上快速推理，提高了模型的实用性。
模型结构的优化：GhostNetV2采用了Inverted bottleneck设计，并通过DFC注意力机制与Ghost模块并行工作的方式，增强了扩展特征的表达能力。这种设计改进了模型的"expressiveness"和"capacity"，同时保持了Ghost模块减少参数量和计算量的优势。
实验验证的性能提升：GhostNetV2通过广泛的实验验证，展示了其在ImageNet等标准数据集上的优越性能。相比GhostNetV1，GhostNetV2在相似的计算成本下，实现了更高的准确率，证明了其结构优化和注意力机制引入的有效性。
综上所述，GhostNetV2通过创新的DFC注意力机制和模型结构优化，在保持轻量级和高效部署的基础上，显著提升了模型的性能和表达能力。
yolov8 引入
class GhostV2(nn.Module):
def __init__(self, num_in, num_out, num_mid, kernel_size, stride=1, act_type='relu', use_se=False, layer_id=None):
super(GhostV2, self).__init__()
self.use_ori_module = layer_id <= 1
if self.use_ori_module:
self.ghost1 = GhostModule(num_in, num_mid, kernel_size=1,
stride=1, padding=0, act_type=act_type)
else:
self.ghost1 = GhostModuleMul(num_in, num_mid, kernel_size=1,
stride=1, padding=0, act_type=act_type)
self.use_dw = stride > 1
self.dw = None
if self.use_dw:
self.dw = ConvUnit(num_mid, num_mid, kernel_size=kernel_size, stride=stride,
padding=self._get_pad(kernel_size), act_type=act_type, num_groups=num_mid, use_act=False)
self.use_se = use_se
if use_se:
self.se = SE_Ghost(num_mid)
self.ghost2 = GhostModule(num_mid, num_out, kernel_size=1, stride=1,
padding=0, act_type=act_type, use_act=False)
self.down_sample = False
if num_in != num_out or stride != 1:
self.down_sample = True
self.shortcut = None
if self.down_sample:
self.shortcut = nn.Sequential(
ConvUnit(num_in, num_in, kernel_size=kernel_size, stride=stride,
padding=self._get_pad(kernel_size), num_groups=num_in, use_act=False),
ConvUnit(num_in, num_out, kernel_size=1, stride=1,
padding=0, num_groups=1, use_act=False),
)
task与yaml配置
详见：https://blog.csdn.net/shangyanaf/article/details/136170972
