YOLOv8改进之更换BiFPN并融合P2小目标检测层

简介: BiFPN(Bi-directional Feature Pyramid Network)是一种用于目标检测和语义分割任务的神经网络架构,旨在改善特征金字塔网络(Feature Pyramid Network, FPN)的性能。FPN是一种用于处理多尺度信息的网络结构,通常与骨干网络(如ResNet或EfficientNet)结合使用,以生成不同分辨率的特征金字塔,从而提高对象检测和分割的性能。BiFPN在此基础上进行了改进,以更好地捕获多尺度信息和提高模型性能。

1. BiFPN


BiFPN(Bi-directional Feature Pyramid Network)是一种用于目标检测和语义分割任务的神经网络架构,旨在改善特征金字塔网络(Feature Pyramid Network, FPN)的性能。FPN是一种用于处理多尺度信息的网络结构,通常与骨干网络(如ResNet或EfficientNet)结合使用,以生成不同分辨率的特征金字塔,从而提高对象检测和分割的性能。BiFPN在此基础上进行了改进,以更好地捕获多尺度信息和提高模型性能。


以下是BiFPN的关键特点和工作原理:


双向连接: BiFPN引入了双向连接,允许信息在不同分辨率级别之间双向传播。这有助于更好地融合低级别和高级别特征,并促进了特征的上下文传播,从而提高了对象检测和分割的准确性。


自适应特征调整: BiFPN采用自适应的特征调整机制,可以学习权重,以调整不同层级的特征以更好地匹配不同任务的需求。这有助于改进特征融合的效果。


模块化设计: BiFPN的模块化设计使其易于嵌入到各种深度神经网络架构中,例如单发射点(Single Shot MultiBox Detector, SSD)、YOLO(You Only Look Once)、以及Mask R-CNN等。


高效性: BiFPN被设计为高效的模型,具有较少的参数和计算复杂度,使其适用于嵌入式设备和实际部署。


提高性能: BiFPN的引入通常能够显著提高对象检测和分割任务的性能,特别是对于小目标或复杂场景,其性能改进尤为显著。


总的来说,BiFPN是一种改进的特征金字塔网络结构,通过双向连接、自适应特征调整和模块化设计,提高了对象检测和语义分割任务的性能,使得神经网络能够更好地理解和解释多尺度信息,从而在计算机视觉任务中发挥更大的作用。


1.1 FPN的演进


物体检测性能提升,一般主要通过数据增强、改进Backbone、改进FPN、改进检测头、改进loss、改进后处理等6个常用手段。



BiFPN的结构图如下所示:



2. YOLOv8改进之更换BiFPN并融合P2小目标检测层


YOLOv8的改进,更换BiFPN(Bi-directional Feature Pyramid Network)并融合P2小目标检测层,具有以下好处:


提高小目标检测准确性: 引入P2小目标检测层使YOLOv8能够更有效地检测小目标物体。小目标通常在图像中占据较少的像素,因此更容易被忽略或误判。通过专门的P2层,YOLOv8能够更敏锐地检测和定位小目标,提高了小目标检测的准确性。


更好的多尺度信息融合: BiFPN的引入允许信息在不同分辨率级别之间双向传播,从而更好地融合多尺度信息。这有助于模型更全面地理解不同大小的目标,提高了对多尺度物体的检测性能。同时,它还改进了对物体的上下文理解,有助于减少误报或漏报。



这里不需要注册,只需要yaml文件即可,代码如下:


# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
# Parameters
nc: 80  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPs
  s: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPs
  m: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPs
  l: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs
  x: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs
# YOLOv8.0n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4
  - [-1, 3, C2f, [128, True]]
  - [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8
  - [-1, 6, C2f, [256, True]]
  - [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16
  - [-1, 6, C2f, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32
  - [-1, 3, C2f, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]]  # 9
# YOLOv8.0n head
head:
  - [4, 1, Conv, [256]]  # 10
  - [6, 1, Conv, [256]]  # 11
  - [9, 1, Conv, [256]]  # 12
  - [-1, 1,  nn.Upsample, [None, 2, 'nearest']] 
  - [[-1, 11], 1, Concat, [1]] 
  - [-1, 3, C2f, [256]] # 15
  - [-1, 1,  nn.Upsample, [None, 2, 'nearest']] 
  - [[-1, 10], 1, Concat, [1]] 
  - [-1, 3, C2f, [256]] 
  - [-1, 1,  nn.Upsample, [None, 2, 'nearest']] #19
  - [2, 1,  Conv, [256]] 
  - [[-1, 19], 1, Concat, [1]]
  - [-1, 3, C2f, [256]] #22
  - [-1, 1, Conv, [256, 3, 2]]
  - [[-1, 10, 18], 1, Concat, [1]] 
  - [-1, 3, C2f, [256]] # 25
  - [-1, 1, Conv, [256, 3, 2]] 
  - [[-1, 11, 15], 1, Concat, [1]] 
  - [-1, 3, C2f, [256]] # 28
  - [-1, 1, Conv, [256, 3, 2]] 
  - [[-1, 12], 1, Concat, [1]] 
  - [-1, 3, C2f, [256]] # 31
  - [[22, 25, 28,31], 1, Detect, [nc]]  # Detect(P2, P3, P4, P5)


相关文章
|
3月前
YOLOv5改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(轻量化Neck、全网独家首发)
YOLOv5改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(轻量化Neck、全网独家首发)
172 4
|
3月前
|
机器学习/深度学习
YOLOv8改进 | 主干篇 | EfficientViT高效的特征提取网络完爆MobileNet系列(轻量化网络结构)
YOLOv8改进 | 主干篇 | EfficientViT高效的特征提取网络完爆MobileNet系列(轻量化网络结构)
172 0
|
3月前
|
机器学习/深度学习 编解码 计算机视觉
YOLOv5改进 | 主干篇 | EfficientNetV1高效的特征提取网络
YOLOv5改进 | 主干篇 | EfficientNetV1高效的特征提取网络
89 0
|
3月前
YOLOv8改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(降低100W参数,全网独家首发)
YOLOv8改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(降低100W参数,全网独家首发)
82 2
|
3月前
|
机器学习/深度学习 编解码 算法
YOLOv8改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干(改进暗光条件下的物体检测模型)
YOLOv8改进 | 主干篇 | 低照度增强网络PE-YOLO改进主干(改进暗光条件下的物体检测模型)
81 0
|
3月前
|
机器学习/深度学习 存储 计算机视觉
YOLOv8改进 | 2023主干篇 | EfficientViT替换Backbone(高效的视觉变换网络)
YOLOv8改进 | 2023主干篇 | EfficientViT替换Backbone(高效的视觉变换网络)
112 0
|
3月前
|
机器学习/深度学习 网络架构
YOLOv8改进 | 2023主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8(超级轻量化精度更高)
YOLOv8改进 | 2023主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8(超级轻量化精度更高)
102 1
|
3月前
|
机器学习/深度学习 自动驾驶 计算机视觉
YOLOv8改进 | Neck篇 | Slim-Neck替换特征融合层实现超级涨点 (又轻量又超级涨点)
YOLOv8改进 | Neck篇 | Slim-Neck替换特征融合层实现超级涨点 (又轻量又超级涨点)
180 2
|
3月前
|
机器学习/深度学习 存储 计算机视觉
YOLOv5改进 | 2023主干篇 | EfficientViT替换Backbone(高效的视觉变换网络)
YOLOv5改进 | 2023主干篇 | EfficientViT替换Backbone(高效的视觉变换网络)
87 1
|
3月前
|
机器学习/深度学习 计算机视觉
YOLOv8改进 | 细节涨点篇 | UNetv2提出的一种SDI多层次特征融合模块(分割高效涨点)
YOLOv8改进 | 细节涨点篇 | UNetv2提出的一种SDI多层次特征融合模块(分割高效涨点)
162 2