YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题

简介: YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题

一、本文介绍

本文主要利用FreqFusion结构改进YOLOv11的目标检测网络模型FreqFusion结构针对传统特征融合在密集图像预测中存在的问题,创新性地引入自适应低通滤波器生成器偏移量生成器自适应高通滤波器生成器。将FreqFusion应用于YOLOv11的改进过程中,能够使模型在处理复杂场景图像时,更精准地聚焦目标物体边界,减少背景噪声干扰,显著强化目标物体边界特征表达,进而提升模型在复杂场景下对目标物体的检测精度与定位准确性。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、FreqFusion介绍

Frequency-aware Feature Fusion for Dense Image Prediction

FreqFusion是一种旨在解决密集图像预测任务中特征融合问题的方法,以下从其结构设计的出发点、结构、原理和作用等方面进行详细介绍:

2.1 出发点

标准特征融合技术存在两个问题,即类别内不一致性边界位移

例如,同一物体不同部分的特征差异大导致类别内不一致;简单插值使特征过度平滑导致边界位移,且下层次特征的详细边界信息未被充分利用。

2.2 结构

自适应低通滤波器(ALPF)生成器偏移生成器自适应高通滤波器(AHPF)生成器三个关键组件构成。

在这里插入图片描述

2.3 原理

  1. 首先进行初始融合将低层次和高层次特征压缩并融合,为三个生成器提供输入。
    • 简单初始融合存在不足,一是采用简单插值上采样压缩特征导致边界模糊
    • 二是ALPF生成器依赖高频信息,但传统卷积层只能捕获固定高频模式
    • 为此进行了增强,利用ALPF生成器生成初始低通滤波器上采样压缩的高层次特征,并采用AHPF生成器提取特征图中的高频分量
  2. ALPF生成器以初始融合的$z^{l}$为输入,通过3×3卷积层Softmax层预测空间变化的低通滤波器。接着使用亚像素上采样技术,将低通滤波器重构成4组,得到4组低通滤波后的特征,再重新排列形成上采样后的特征
  3. 偏移生成器根据局部相似度计算偏移量,用于重采样特征像素,用具有高类别内相似度的附近特征替换高层次特征中的不一致特征。
  4. AHPF生成器预测并应用空间变化的高通滤波器到低层次特征,以增强下采样过程中丢失的高频细节信息,从而更准确地描绘边界。

在这里插入图片描述

2.4 作用

FreqFusion通过自适应地用空间变化的低通滤波器平滑高层次特征、重采样附近类别一致的特征来替换高层次特征中的不一致特征、增强低层次特征的高频边界细节,来解决类别不一致性和边界位移问题,从而恢复具有一致类别信息和清晰边界的融合特征。提高了特征一致性和边界清晰度,在各种密集预测任务中取得了显著的性能提升。

论文:https://arxiv.org/pdf/2408.12879
源码:https://github.com/Linwei-Chen/FreqFusion

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/145115788

相关文章
|
机器学习/深度学习 算法 数据挖掘
YOLOv6 | 模型结构与训练策略详细解析
YOLOv6 | 模型结构与训练策略详细解析
3023 0
YOLOv6 | 模型结构与训练策略详细解析
|
机器学习/深度学习 编解码 IDE
用于低分辨率图像和小物体的新 CNN 模块SPD-Conv
用于低分辨率图像和小物体的新 CNN 模块SPD-Conv
用于低分辨率图像和小物体的新 CNN 模块SPD-Conv
|
计算机视觉
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
605 17
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
1499 9
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
YOLOv11改进策略【Head/分割头】| 结合CVPR-2024 中的DynamicConv 动态卷积 改进分割头, 优化模型(独家改进)
YOLOv11改进策略【Head/分割头】| 结合CVPR-2024 中的DynamicConv 动态卷积 改进分割头, 优化模型(独家改进)
1271 8
|
机器学习/深度学习 PyTorch TensorFlow
YOLOv11改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
YOLOv11改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
925 12
YOLOv11改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
|
机器学习/深度学习 编解码 计算机视觉
RT-DETR改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对ResNetLayer进行二次创新
RT-DETR改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对ResNetLayer进行二次创新
528 9
RT-DETR改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对ResNetLayer进行二次创新
|
机器学习/深度学习 数据可视化 算法
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
2579 7
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
|
编解码 异构计算
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
4534 7
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
计算机视觉
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
3015 10
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络