YOLOv10目标检测创新改进与实战案例专栏
专栏链接: YOLOv10 创新改进有效涨点
摘要
我们旨在为目标检测领域提供一种高效且性能卓越的目标检测器，称为YOLO-MS。其核心设计基于一系列调查研究，关于不同核心大小的卷积如何影响不同尺度物体的检测性能。研究结果是一种新策略，能够显著增强实时目标检测器的多尺度特征表示能力。为验证我们策略的有效性，我们构建了一个网络架构，命名为YOLO-MS。我们从零开始在MS COCO数据集上训练我们的YOLO-MS，不依赖于任何其他大规模数据集，如ImageNet，或预训练权重。无需任何附加装置，我们的YOLO-MS就超越了最新的实时目标检测器，包括YOLO-v7和RTMDet，当使用可比较的参数数量和FLOPs时。以YOLO-MS的XS版本为例，仅有4.5M的可学习参数和8.7G FLOPs，就能在MS COCO上达到43%+的AP得分，比相同模型大小的RTMDet高出约2%+。此外，我们的工作还可以作为一个即插即用的模块用于其他YOLO模型。通常，我们的方法显著提高了YOLOv8的AP，从37%+提高到了40%+，而且使用的参数和FLOPs还更少。
创新点
多尺度构建块（MS-Block）设计：YOLO-MS引入了MS-Block，一个具有分层特征融合策略的构建块，旨在增强实时目标检测器在提取多尺度特征时的能力。MS-Block通过将输入特征分割并传递到多个分支中，并在每个分支中应用具有不同Kernel大小的Inverted Bottleneck Block，来编码不同尺度的特征。
异构Kernel选择（HKS）协议：为了更有效地捕捉多尺度语义信息，YOLO-MS提出了一种在不同阶段中采用不同大小Kernel的策略。具体地，在编码器的浅层使用小Kernel卷积处理高分辨率特征，在深层使用大Kernel卷积捕捉更广泛的信息。这种设计使得YOLO-MS能够在保持高效推理的同时，提升对不同尺寸目标的检测性能。
高效性能与准确性的平衡：YOLO-MS在保持较低计算复杂度的条件下，实现了优于当时最先进实时目标检测器的性能。这得益于其精心设计的网络结构和创新的特征表示策略，如MS-Block和HKS协议，使得模型在不依赖任何大规模数据集预训练的情况下，也能在公开数据集上达到高精度。
即插即用的模块化设计：YOLO-MS不仅作为一个独立的目标检测模型存在，其核心组件如MS-Block也可以作为即插即用的模块，集成到其他YOLO系列模型中，以提升这些模型在多尺度目标检测任务上的性能。# MSBlock模块，包含多个MSBlockLayer，用于处理不同尺度的特征
yolov10 引入
class MSBlock(nn.Module):
def __init__(self, inc, ouc, kernel_sizes, in_expand_ratio=3., mid_expand_ratio=2., layers_num=3,
in_down_ratio=2.)-> None:
super().__init__()
# 根据扩展比例计算中间通道数
in_channel = int(inc * in_expand_ratio // in_down_ratio)
self.mid_channel = in_channel // len(kernel_sizes)
groups = int(self.mid_channel * mid_expand_ratio)
# 输入卷积层
self.in_conv = Conv(inc, in_channel)
self.mid_convs = []
# 根据给定的核大小创建多个MSBlockLayer
for kernel_size in kernel_sizes:
if kernel_size == 1:
self.mid_convs.append(nn.Identity())
continue
mid_convs = [MSBlockLayer(self.mid_channel, groups, k=kernel_size) for _ in range(int(layers_num))]
self.mid_convs.append(nn.Sequential(*mid_convs))
self.mid_convs = nn.ModuleList(self.mid_convs)
# 输出卷积层
self.out_conv = Conv(in_channel, ouc, 1)
self.attention = None
def forward(self, x):
out = self.in_conv(x)
channels = []
# 分别处理每个通道范围内的特征，并合并
for i, mid_conv in enumerate(self.mid_convs):
channel = out[:, i * self.mid_channel:(i + 1) * self.mid_channel, ...]
if i >= 1:
channel = channel + channels[i - 1]
channel = mid_conv(channel)
channels.append(channel)
out = torch.cat(channels, dim=1)
out = self.out_conv(out)
if self.attention is not None:
out = self.attention(out)
return out# MSBlock模块，包含多个MSBlockLayer，用于处理不同尺度的特征
class MSBlock(nn.Module):
def __init__(self, inc, ouc, kernel_sizes, in_expand_ratio=3., mid_expand_ratio=2., layers_num=3,
in_down_ratio=2.)-> None:
super().__init__()
# 根据扩展比例计算中间通道数
in_channel = int(inc * in_expand_ratio // in_down_ratio)
self.mid_channel = in_channel // len(kernel_sizes)
groups = int(self.mid_channel * mid_expand_ratio)
# 输入卷积层
self.in_conv = Conv(inc, in_channel)
self.mid_convs = []
# 根据给定的核大小创建多个MSBlockLayer
for kernel_size in kernel_sizes:
if kernel_size == 1:
self.mid_convs.append(nn.Identity())
continue
mid_convs = [MSBlockLayer(self.mid_channel, groups, k=kernel_size) for _ in range(int(layers_num))]
self.mid_convs.append(nn.Sequential(*mid_convs))
self.mid_convs = nn.ModuleList(self.mid_convs)
# 输出卷积层
self.out_conv = Conv(in_channel, ouc, 1)
self.attention = None
def forward(self, x):
out = self.in_conv(x)
channels = []
# 分别处理每个通道范围内的特征，并合并
for i, mid_conv in enumerate(self.mid_convs):
channel = out[:, i * self.mid_channel:(i + 1) * self.mid_channel, ...]
if i >= 1:
channel = channel + channels[i - 1]
channel = mid_conv(channel)
channels.append(channel)
out = torch.cat(channels, dim=1)
out = self.out_conv(out)
if self.attention is not None:
out = self.attention(out)
return out
task与yaml配置
详见：https://blog.csdn.net/shangyanaf/article/details/140143074
