【APFN】从大佬论文中探索如何分析改进金字塔网络

简介: 【APFN】从大佬论文中探索如何分析改进金字塔网络

前言

  在计算机视觉领域,金字塔网络是一种经典而有效的图像处理方法,旨在实现多尺度的特征提取图像分析。通过构建不同尺度的图像金字塔,金字塔网络能够从粗糙到精细地分析图像内容,为许多视觉任务提供了强大的基础。然而,随着深度学习技术的快速发展,人们开始关注如何改进金字塔网络以更好地适应现代计算机视觉任务的挑战。

基础回顾

什么是特征金字塔:

  特征金字塔(Feature Pyramid)是一种计算机视觉中常用的图像处理技术,旨在提取不同尺度下的图像特征。它广泛应用于目标检测、语义分割和图像识别等任务中,以有效地捕捉图像中不同尺度上的语义信息。

image.png

  在提取图像特征时,如果只使用单一尺度,会导致对物体大小的不确定性,从而丢失一些细节信息。为了解决这个问题,目标检测模型通常采用特征金字塔架构。其中,最常用的特征金字塔架构是FPN(特征金字塔网络),通过使用FPN,无论是单级还是两级的检测器都能够得到更好的检测结果。

  在FPN的基础上,有一种改进的特征金字塔网络叫做PAFPN(金字塔自底向上特征网络)。PAFPN在特征金字塔网络中增加了一条自下而上的路径,这样就可以弥补FPN中高层特征缺乏底层特征细节的不足。也就是说,PAFPN能够更好地结合不同尺度的特征信息,使得目标检测模型在各个层次上都能获取到准确的细节特征,从而提高检测的效果。

渐近特征金字塔网络

启发思路:

  现有的特征金字塔网络通常是将骨干网络生成的高级特征上采样到低级特征上。受HRNet网络架构的启发,我们提出了一个渐进特征金字塔网络(AFPN)来解决上述限制。在主干自底向上的特征提取过程中,我们在第一阶段通过结合两个不同分辨率的低级特征来启动融合过程。随着我们进入后期阶段,我们逐渐将高级特征纳入融合过程,最终融合主干的顶级特征,这种融合方式可以避免非相邻层之间存在较大的语义差距。

设计思路:

  在此过程中,低级特征与高级特征的语义信息融合,高级特征与低级特征的细节信息融合。由于它们之间的直接相互作用,避免了多级传输过程中信息的丢失或退化。在整个特征融合过程中,由于层次之间的某一位置可能存在不同对象的矛盾,元素求和并不是一种有效的方法。为了解决这一问题,我们利用自适应空间融合运算对多层次融合过程中的特征进行过滤。这使我们能够保留有用的信息进行融合。

结构

  渐近特征金字塔网络(AFPN)的体系结构。在初始阶段,AFPN融合了两个低级特征。这个后续阶段融合更高层次的特征,而最后阶段在特征融合过程中添加顶级特征。缺少箭头表示卷积,海蓝宝线箭头代表自适应空间融合。

image.png

实验结果

  根据表1的数据,当输入图像尺寸为640 × 640时,我们的方法表现出很好的性能,平均精度(AP)达到了39.0%,甚至比一些分辨率更高的模型还要好。与FPN和PAFPN相比,我们的AFPN在val2017数据集上的AP分别提高了1.6%和0.9%,在其他指标上也超过了它们。需要注意的是,由于NASFPN是在RetinaNet框架上进行搜索的,它在Faster R-CNN框架上的表现并不是很出色。相比之下,我们的AFPN在AP方面比NASFPN高出了1.3%。另外,当输入图像尺寸为800 × 1000时,我们的AFPN实现了41.0%的AP,超过了其他方法的性能。

image.png


  在我们的研究中,我们评估了两种不同的检测器:Faster R-CNN和Dynamic R-CNN,并通过实验结果表三进行了比较。可以得到相对于FPN,我们的AFPN更适合用于高精度定位的场景。

image.png


  在yoloV5中实验,结果如下:与原始的版本颈部相比,改进(AFPN)在检测性能方面有显著提高,尤其是在检测大型物体,在AP,APS,APM和APL指标上保持领先地位。

image.png

结语

  从大佬们的顶刊文章中探索到特征金字塔的改进方向,这也为日后的研究指明了方向打下了基础。希望本篇探索对诸君有帮助。


相关文章
|
25天前
|
监控 Shell Linux
【Shell 命令集合 网络通讯 】Linux 分析串口的状态 statserial命令 使用指南
【Shell 命令集合 网络通讯 】Linux 分析串口的状态 statserial命令 使用指南
32 0
|
7天前
|
安全 网络安全 网络虚拟化
虚拟网络设备与网络安全:深入分析与实践应用
在数字化时代📲,网络安全🔒成为了企业和个人防御体系中不可或缺的一部分。随着网络攻击的日益复杂和频繁🔥,传统的物理网络安全措施已经无法满足快速发展的需求。虚拟网络设备🖧,作为网络架构中的重要组成部分,通过提供灵活的配置和强大的隔离能力🛡️,为网络安全提供了新的保障。本文将从多个维度深入分析虚拟网络设备是如何保障网络安全的,以及它们的实际意义和应用场景。
|
18天前
|
缓存 网络协议 数据库连接
【底层服务/编程功底系列】「网络通信体系」深入探索和分析TCP协议的运输连接管理的核心原理和技术要点
【底层服务/编程功底系列】「网络通信体系」深入探索和分析TCP协议的运输连接管理的核心原理和技术要点
14 0
|
22天前
|
运维 负载均衡 监控
【软件设计师备考 专题 】网络性能分析
【软件设计师备考 专题 】网络性能分析
39 0
|
28天前
|
机器学习/深度学习 开发者
论文介绍:基于扩散神经网络生成的时空少样本学习
【2月更文挑战第28天】论文介绍:基于扩散神经网络生成的时空少样本学习
12 1
论文介绍:基于扩散神经网络生成的时空少样本学习
|
2月前
|
JSON 监控 网络安全
使用Perl编写的上网监控管理软件:网络数据包拦截与分析功能
网络安全一直是互联网时代的重要议题之一。随着网络技术的不断发展,网络攻击和数据泄露等问题也变得日益严重。为了有效监控和管理网络流量,开发了一款基于Perl语言的上网监控管理软件,该软件具有强大的网络数据包拦截与分析功能,能够帮助网络管理员实时监控网络流量,并及时发现和应对各种网络安全威胁。
130 0
|
2月前
|
机器学习/深度学习 计算机视觉 Python
【SKConv】即插即用!来自CVPR 2019的选择性内核网络帮你论文涨点
【SKConv】即插即用!来自CVPR 2019的选择性内核网络帮你论文涨点
52 0
【SKConv】即插即用!来自CVPR 2019的选择性内核网络帮你论文涨点
|
30天前
|
机器学习/深度学习 数据采集 人工智能
m基于深度学习网络的手势识别系统matlab仿真,包含GUI界面
m基于深度学习网络的手势识别系统matlab仿真,包含GUI界面
38 0
|
1月前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络的火焰烟雾检测系统matlab仿真
基于yolov2深度学习网络的火焰烟雾检测系统matlab仿真
|
1月前
|
机器学习/深度学习 算法 计算机视觉
m基于深度学习网络的性别识别系统matlab仿真,带GUI界面
m基于深度学习网络的性别识别系统matlab仿真,带GUI界面
26 2