【YOLOv8改进 - Backbone主干】ShuffleNet V2:卷积神经网络(CNN)架构

简介: 【YOLOv8改进 - Backbone主干】ShuffleNet V2:卷积神经网络(CNN)架构

YOLOv8目标检测创新改进与实战案例专栏

专栏目录: YOLOv8有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

image-20240613151657343

摘要

在ShuffleNet v2的文章中作者指出现在普遍采用的FLOPs评估模型性能是非常不合理的,因为一批样本的训练时间除了看FLOPs,还有很多过程需要消耗时间,例如文件IO,内存读取,GPU执行效率等等。作者从内存消耗成本,GPU并行性两个方向分析了模型可能带来的非FLOPs的行动损耗,进而设计了更加高效的ShuffleNet v2。ShuffleNet v2的架构和DenseNet[4]有异曲同工之妙,而且其速度和精度都要优于DenseNet。

文章链接

论文地址:论文地址

代码地址代码地址

参考代码代码地址

基本原理

ShuffleNet V2是一种新颖的卷积神经网络(CNN)架构,旨在实现高效和准确的图像分类和目标检测任务。

  1. 构建模块:ShuffleNet V2的架构由构建模块组成,这些模块被堆叠起来构建整个网络。这些构建模块被设计为高效,允许使用更多的特征通道和更大的网络容量[T2]。

  2. 空间下采样:在ShuffleNet V2中,通过修改单元并将输出通道数量加倍来实现空间下采样。这种修改增强了网络的效率,同时保持准确性[T2]。

  3. 感受野增强:为了改善ShuffleNet V2在检测任务上的性能,通过在每个构建模块的逐点卷积之前引入额外的3x3深度卷积来扩大网络的感受野。这种增强被标记为ShuffleNet V2*,可以在几乎不增加计算成本的情况下提高准确性[T1]。

ShuffleNet v2结构

image-20240613151915287

观察 (c) 和 (d) 对网络的改进,我们发现了以下几点:

  1. 在 (c) 中,ShuffleNet v2 使用了通道分割(Channel Split)操作。这个操作将 (c) 个输入特征分成 (c - c') 和 (c') 两组,一般情况下 (c' = \frac{c}{2})。这种设计目的是为了尽量控制分支数,满足 G3。
  2. 分割后的两个分支中,左侧是一个直接映射,右侧是一个输入通道数和输出通道数均相同的深度可分离卷积,以满足 G1。
  3. 右侧的卷积中,1×1 卷积没有使用分组卷积,以满足 G2。
  4. 最后在合并时,使用拼接操作,以满足 G4。
  5. 在堆叠 ShuffleNet v2 时,通道拼接、通道洗牌和通道分割可以合并成一个 element-wise 操作,这也是为了满足 G4。

最后,当需要降采样时,通过不进行通道分割的方式来实现通道数量的加倍,如图 6(d) 所示,这个方法非常简单。

核心代码

# 定义 ShuffleNetV2 模块
class ShuffleNetV2(nn.Module):
    def __init__(self, inp, oup, stride):  # inp: 输入通道数, oup: 输出通道数, stride: 步长
        super().__init__()

        self.stride = stride

        # 计算每个分支的通道数
        branch_features = oup // 2
        # 确保步长为1时输入通道数是分支通道数的两倍
        assert (self.stride != 1) or (inp == branch_features << 1)

        if self.stride == 2:
            # 定义 branch1,当步长为2时
            self.branch1 = nn.Sequential(
                # 深度卷积,输入通道数等于输出通道数,步长为2
                nn.Conv2d(inp, inp, kernel_size=3, stride=self.stride, padding=1, groups=inp),
                nn.BatchNorm2d(inp),
                # 1x1 卷积,输出通道数等于 branch_features
                nn.Conv2d(inp, branch_features, kernel_size=1, stride=1, padding=0, bias=False),
                nn.BatchNorm2d(branch_features),
                nn.ReLU(inplace=True))
        else:
            # 步长为1时,branch1 为空
            self.branch1 = nn.Sequential()

        # 定义 branch2
        self.branch2 = nn.Sequential(
            # 1x1 卷积,步长为1,输出通道数等于 branch_features
            nn.Conv2d(inp if (self.stride == 2) else branch_features, branch_features, kernel_size=1, stride=1, padding=0, bias=False),
            nn.BatchNorm2d(branch_features),
            nn.ReLU(inplace=True),
            # 深度卷积,步长为 stride,输出通道数等于 branch_features
            nn.Conv2d(branch_features, branch_features, kernel_size=3, stride=self.stride, padding=1, groups=branch_features),
            nn.BatchNorm2d(branch_features),
            # 另一个 1x1 卷积,步长为1
            nn.Conv2d(branch_features, branch_features, kernel_size=1, stride=1, padding=0, bias=False),
            nn.BatchNorm2d(branch_features),
            nn.ReLU(inplace=True),
        )

    def forward(self, x):
        if self.stride == 1:
            # 当步长为1时,将输入在通道维度上分成两部分
            x1, x2 = x.chunk(2, dim=1)
            # 连接 x1 和 branch2 处理后的 x2
            out = torch.cat((x1, self.branch2(x2)), dim=1)
        else:
            # 当步长为2时,连接 branch1 和 branch2 的输出
            out = torch.cat((self.branch1(x), self.branch2(x)), dim=1)

        # 进行通道混洗
        out = self.channel_shuffle(out, 2)

        return out

    def channel_shuffle(self, x, groups):
        # 获取输入张量的形状信息
        N, C, H, W = x.size()
        # 调整张量的形状,并交换通道维度
        out = x.view(N, groups, C // groups, H, W).permute(0, 2, 1, 3, 4).contiguous().view(N, C, H, W)
        return out

task与yaml配置

详见:https://blog.csdn.net/shangyanaf/article/details/139655578

相关文章
|
2月前
|
机器学习/深度学习 自然语言处理 计算机视觉
【YOLOv8改进 - Backbone主干】VanillaNet:极简的神经网络,利用VanillaNet替换YOLOV8主干
【YOLOv8改进 - Backbone主干】VanillaNet:极简的神经网络,利用VanillaNet替换YOLOV8主干
|
2月前
|
机器学习/深度学习 自然语言处理 计算机视觉
【YOLOv8改进 - Backbone主干】VanillaNet:极简的神经网络,利用VanillaBlock降低YOLOV8参数
【YOLOv8改进 - Backbone主干】VanillaNet:极简的神经网络,利用VanillaBlock降低YOLOV8参数
|
2月前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进 - 注意力机制】c2f结合CBAM:针对卷积神经网络(CNN)设计的新型注意力机制
【YOLOv8改进 - 注意力机制】c2f结合CBAM:针对卷积神经网络(CNN)设计的新型注意力机制
|
10天前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【8月更文挑战第28天】本文将深入探讨深度学习领域的核心概念之一——卷积神经网络(CNN),并展示其在图像识别任务中的强大能力。文章首先介绍CNN的基本结构,然后通过一个简单的代码示例来演示如何构建一个基础的CNN模型。接着,我们将讨论CNN如何处理图像数据以及它在图像分类、检测和分割等任务中的应用。最后,文章将指出CNN面临的挑战和未来的发展方向。
|
14天前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【8月更文挑战第24天】本文将带你走进深度学习的神奇世界,特别是卷积神经网络(CNN)这一强大的工具。我们将从CNN的基础概念出发,通过直观的例子和简单的代码片段,探索其在图像识别领域的应用。无论你是深度学习的初学者还是希望深化理解的进阶者,这篇文章都将为你提供有价值的见解。
|
11天前
|
机器学习/深度学习 人工智能 算法框架/工具
深入浅出卷积神经网络(CNN)的奥秘
【8月更文挑战第27天】本文将带领读者一探卷积神经网络(CNN)的神秘面纱,通过浅显易懂的语言和生动的比喻,揭示CNN在图像处理领域的威力。我们将从CNN的基本构成入手,逐步深入到其工作原理,并展示如何用简单的Python代码实现一个基础的CNN模型。无论你是深度学习的初学者还是希望巩固理解的从业者,这篇文章都将是你不可错过的精彩之旅。
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
深入浅出卷积神经网络(CNN)的奥秘
【9月更文挑战第3天】在人工智能的浪潮中,卷积神经网络(CNN)无疑是最耀眼的明星之一。本文将通过浅显易懂的语言,带你一探CNN的核心原理和应用实例。从图像处理到自然语言处理,CNN如何改变我们对数据的解读方式?让我们一起走进CNN的世界,探索它的魅力所在。
|
7天前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习中的卷积神经网络(CNN)入门
【8月更文挑战第31天】在人工智能的璀璨星空中,卷积神经网络(CNN)如同一颗耀眼的星辰,以其卓越的图像处理能力在深度学习领域熠熠生辉。本文将带你领略CNN的魅力,从其结构原理到实战应用,深入浅出地探索这一技术的奥秘。我们将通过Python代码片段,一起实现一个简单的CNN模型,并讨论其在现实世界问题中的应用潜力。无论你是初学者还是有一定基础的开发者,这篇文章都将为你打开一扇通往深度学习世界的大门。
|
10天前
|
机器学习/深度学习 算法框架/工具 计算机视觉
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【8月更文挑战第28天】本文深入探讨了深度学习领域中的一个核心概念——卷积神经网络(CNN),并详细解释了其在图像识别任务中的强大应用。从CNN的基本结构出发,我们逐步展开对其工作原理的解析,并通过实际代码示例,展示如何利用CNN进行有效的图像处理和识别。文章旨在为初学者提供一个清晰的学习路径,同时也为有经验的开发者提供一些深入的见解和应用技巧。
25 1
|
15天前
|
机器学习/深度学习 计算机视觉
卷积神经网络(CNN)的不同层
【8月更文挑战第23天】
36 3
下一篇
DDNS