YOLO目标检测创新改进与实战案例专栏
专栏目录: YOLO有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例
专栏链接: YOLO基础解析+创新改进+实战案例
摘要
在目标检测任务中,多尺度特征对于编码具有尺度变化的对象至关重要。采用经典的自顶向下和自底向上特征金字塔网络是提取多尺度特征的常用策略。然而,这些方法存在特征信息的丢失或降级问题,损害了非相邻层次之间融合效果。本文提出了一种渐近特征金字塔网络(AFPN),以支持非相邻层次之间的直接交互。AFPN通过融合两个相邻的低级特征启动,并渐进地将更高级别的特征纳入融合过程。通过这种方式,可以避免非相邻层次之间较大的语义差距。考虑到每个空间位置的特征融合过程中可能出现多对象信息冲突的潜力,进一步利用自适应空间融合操作来缓解这些不一致。我们将所提出的AFPN纳入两阶段和单阶段目标检测框架中,并使用MS-COCO 2017验证和测试数据集进行评估。实验评估表明,我们的方法比其他最先进的特征金字塔网络实现了更具竞争力的结果
创新点
AFPN(渐近特征金字塔网络)的创新点主要体现在以下几个方面:
跨非相邻层的直接特征融合:AFPN通过渐进式的特征融合策略,允许非相邻层次之间的直接交互,这有助于防止在特征传递和交互过程中的信息丢失或退化。这种方法与传统的特征金字塔网络(FPN)不同,后者通常仅在相邻层次之间进行特征融合。
自适应空间融合操作:为了处理不同层次特征之间可能出现的信息矛盾,AFPN引入了自适应空间融合操作。这种方法能够根据不同空间位置的特征动态调整融合权重,从而有效地解决了多目标信息冲突问题。
高效的计算性能与竞争力的检测结果:在MS COCO 2017验证和测试数据集上的大量实验表明,AFPN不仅在计算效率上优于其他先进的特征金字塔网络,而且还获得了更具竞争力的检测结果。这表明AFPN能够在保持高效计算的同时,提高目标检测任务的准确性。
广泛的应用适用性:AFPN被成功集成到两阶段和单阶段目标检测框架中,并在不同的检测模型(如Faster R-CNN和YOLOv5)上验证了其有效性和提升性能,证明了其广泛的适用性和灵活性。
启发自HRNet的设计:AFPN的设计受到了高分辨率网络(HRNet)的启发,它在整个特征提取过程中保持了低级别特征的丰富性,并通过重复融合低级别和高级别特征来生成更丰富的特征表示。这种设计思想在人体姿态估计领域已显示出其优势,AFPN将其成功应用于目标检测任务。
通过这些创新点,AFPN解决了传统特征金字塔网络在处理尺度变化大的对象时的限制,提高了目标检测的性能和效率。
yolov8 引入MPDIoU
class ASFF_2(nn.Module):
def __init__(self, inter_dim=512):
super(ASFF_2, self).__init__()
self.inter_dim = inter_dim
compress_c = 8
self.weight_level_1 = BasicConv(self.inter_dim, compress_c, 1, 1)
self.weight_level_2 = BasicConv(self.inter_dim, compress_c, 1, 1)
self.weight_levels = nn.Conv2d(compress_c * 2, 2, kernel_size=1, stride=1, padding=0)
self.conv = BasicConv(self.inter_dim, self.inter_dim, 3, 1)
def forward(self, input1, input2):
level_1_weight_v = self.weight_level_1(input1)
level_2_weight_v = self.weight_level_2(input2)
levels_weight_v = torch.cat((level_1_weight_v, level_2_weight_v), 1)
levels_weight = self.weight_levels(levels_weight_v)
levels_weight = F.softmax(levels_weight, dim=1)
fused_out_reduced = input1 * levels_weight[:, 0:1, :, :] + \
input2 * levels_weight[:, 1:2, :, :]
out = self.conv(fused_out_reduced)
return out
task与yaml配置
详见:https://blog.csdn.net/shangyanaf/article/details/136025499