GA-RPN:引导锚点的建议区域网络

本文涉及的产品
全球加速 GA,每月750个小时 15CU
简介: GA-RPN:引导锚点的建议区域网络

原文链接

论文地址:https://arxiv.org/pdf/1901.03278.pdf

代码地址:GitHub - open-mmlab/mmdetection: OpenMMLab Detection Toolbox and Benchmark

1.RPN

RPN即Region Proposal Network,是用RON来选择感兴趣区域的,即proposal extraction。例如,如果一个区域的p>0.5,则认为这个区域中可能是80个类别中的某一类,具体是哪一类现在还不清楚。到此为止,网络只需要把这些可能含有物体的区域选取出来就可以了,这些被选取出来的区域又叫做ROI(Region of Interests),即感兴趣的区域。当然RPN同时也会在feature map上框定这些ROI感兴趣区域的大致位置,即输出Bounding Box。

RPN详细介绍:https://mp.weixin.qq.com/s/VXgbJPVoZKjcaZjuNwgh-A

2.Guided Anchoring

通常用(x,y,w,h)来描述一个anchor,即中心点坐标和宽高。文章将anchor的分布用条件概率来表示,公式为:

$$ p(x,y,w,h|I)=p(x,y|I)p(w,h|x,y,I) $$

两个条件概率的分布,代表给定图像特征之后anchor的中心点概率分布,和给定图像特征和中心点之后的形状概率分布。这样看来,原来我们所获取anchor的方法就可以看成上述条件概率分布的一个特例,即p(x,y|I)是均匀分布而p(w,h|x,y,I)是冲激函数。

根据上面的公式,anchor的生成过程可以分解为两个步骤,anchor位置预测和形状预测。

论文中用到的方法如下:

这个框架就是在原始的RPN的特征图基础上,采用两个分值分别预测anchor的位置和形状,然后再结合到一起得到anchor。之后采用一个Feature Adaption模块进行anchor特征的调整,得到新的特征图供之后的预测使用(anchor的分类和回归)。整个方法可以端到端训练,而且相比之前只是增加了3个1×1 conv 和一个3×3 deformable conv,带来的模型参数量变化很小。

(1)位置预测

位置预测分支的目标是预测哪些区域应该作为中心点来生成anchor,也是一个二分类问题,但是不同于RPN的分类,我们并不是预测每个点是前景还是背景,而是预测是不是物体中心。

我们将整个feature map的区域分为物体中心区域、外围区域和忽略区域,大致思路就是将groundtruth 框的中心一小块对应在feature map上的区域标为物体中心区域,在训练的时候作为正样本,其余区域按照离中心的距离标为忽略或者负样本。最后通过选择对应概率值高于预定阈值的位置来确定可能存在对象活动的区域。$F1$ 对输入的特征图使用 1×1 的卷积,得到与 $F1$ 相同分辨率的输出,$N_L$ 得到输出的每个位置的值表示原图I上对应位置出现物体的可能性,也就是概率图,最后通过选择对应概率值高于预定阈值的位置来确定可能存在对象活动的区域。

通过位置预测,我们可以筛选出一小部分区域作为anchor的候选中心点位置,使得anchor数量大大降低。这样在最后我们就可以只针对有anchor的地方进行计算。

(2)形状预测

形状预测分支是目标是给定anchor中心点,预测最佳的长和宽,这是一个回归问题。

采用1×1的卷积网络 $N_s$ 输入 $F_1$,输出与 $F_1$ 尺寸相同的2通道的特征图,每个通道分别代表 dw 和 dh,表示每个位置可能的最好的 anchor 尺寸。虽然我们的预测目标是 w 和 h,但是直接预测这两个数字不稳定,因为范围很大,所以将空间近似 [0,1000] 映射到了 [-1,1] 中,公式为:

$$ w=\sigma \times s \times e^{dw},w=\sigma \times s \times e^{dh} $$

其中 s 是步幅,σ 是经验因子,实验中取 σ=8。实验中产生 dw,dh 的双通道映射,通过这个方程实现了逐像素转换。文章中直接用 IOU 作为监督来学习 w 和 h。

对于 anchor 和 ground truth 匹配问题,传统 RPN 都是直接计算 anchor 和所有 ground truth 的 IOU,然后将anchor 匹配给 IOU 最大的那个 ground truth,但是现在由于我们的改进,anchor 的 w 和 h 都是不确定的,是一个需要预测的变量。文中将这个 anchor 和某个 ground truth 的 IOU 表示为:

$$ vIOU(a_{wh},gt)=\max_{w>0,h>0}IOU_{normal}(a_{wh},gt) $$

我们不可能把所有可能的 w 和 h 遍历一遍求 IOU 的最大值,文中采用了9组可能的 w 和 h 作为样本,近似效果已经足够。

到这里我们就可以生成 anchor 了。这时所生成的 anchor 就是稀疏而且每个位置不一样的。实验可得此时的平均 recall 已经超过普通的 RPN 了,仅仅是增加了两个 conv。

(3)特征精调模块

由于每个位置的形状不同,大的anchor对应较大感受野,小的anchor对应小的感受野。所以不能像之前基于anchor的方法那样直接对feature map进行卷积来预测,而是要对feature map进行feature adaptation。作者利用可变形卷积(deformable convolution)的思想,根据形状对各个位置单独进行转换。

方法就是把anchor的形状信息直接融入到特征图当中,得到新的特征图去适应每个位置anchor的形状。这里就利用了上述的3×3的可变形卷积进行对原始特征图的修正,可变形卷积的变化量是通过anchor的w和h经过一个1×1 conv得到的。

$$ f'_i=N_t(f_i,w_i,h_i) $$

其中,fi 是第 i 个位置的特征,(wi, hi) 是对应的 anchor 形状。NT 通过 3×3 的变形卷积实现。首先通过形状预测分支预测偏移字段 offset field,然后对带偏移的原始 feature map 做变形卷积获得 adapted features。之后进一步做分类和 bounding box 回归。

通过这样的操作,达到了让 feature 的有效范围和 anchor 形状更加接近的目的,同一个 conv 的不同位置也可以代表不同形状大小的 anchor 了。

文中实验结果示例:

学习更多编程知识,请关注我的公众号:

代码的路

相关文章
|
6月前
|
计算机视觉
【论文速递】Arxiv2018 - 加州伯克利大学借助引导网络实现快速、准确的小样本分割
【论文速递】Arxiv2018 - 加州伯克利大学借助引导网络实现快速、准确的小样本分割
44 0
|
机器学习/深度学习 数据采集 算法
m基于GA-LSTM遗传优化长短期记忆网络的电力负荷数据预测算法matlab仿真
m基于GA-LSTM遗传优化长短期记忆网络的电力负荷数据预测算法matlab仿真
119 4
|
1月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于GA遗传优化的GroupCNN分组卷积网络时间序列预测算法matlab仿真
该算法结合了遗传算法(GA)与分组卷积神经网络(GroupCNN),利用GA优化GroupCNN的网络结构和超参数,提升时间序列预测精度与效率。遗传算法通过模拟自然选择过程中的选择、交叉和变异操作寻找最优解;分组卷积则有效减少了计算成本和参数数量。本项目使用MATLAB2022A实现,并提供完整代码及视频教程。注意:展示图含水印,完整程序运行无水印。
|
2月前
|
人工智能 供应链 安全
网络安全与信息安全:构建数字世界的坚固防线在当今数字化时代,网络安全已成为维护个人隐私、企业机密和国家安全的重要基石。本文旨在探讨网络安全漏洞、加密技术及安全意识等关键领域,通过深入浅出的方式,引导读者理解网络安全的核心要素,并分享实用的防护策略,共同守护我们的数字世界。
随着互联网技术的飞速发展,网络安全威胁日益凸显,成为全球关注的焦点。本文聚焦网络安全的三大核心议题——网络安全漏洞、加密技术与安全意识,旨在揭示它们之间的相互关联与重要性。通过剖析真实案例,展现网络攻击的复杂性与破坏力;解析加密技术的原理与实践,强调其在保护数据安全中的关键作用;同时,倡导提升公众安全意识,构建多层次的网络安全防护体系。本文不仅为专业人士提供技术参考,也旨在提高普罗大众的网络安全认知,共同筑牢数字世界的安全防线。
130 10
|
2月前
|
算法
基于GA遗传优化的离散交通网络双层规划模型设计matlab仿真
该程序基于GA遗传优化设计了离散交通网络的双层规划模型,以路段收费情况的优化为核心,并通过一氧化碳排放量评估环境影响。在MATLAB2022a版本中进行了验证,显示了系统总出行时间和区域排放最小化的过程。上层模型采用多目标优化策略,下层则确保总阻抗最小,实现整体最优解。
|
6月前
|
机器学习/深度学习 算法
【MATLAB】GA_BP神经网络时序预测算法
【MATLAB】GA_BP神经网络时序预测算法
141 8
|
4月前
|
传感器 机器学习/深度学习 算法
基于GA遗传算法的WSN网络节点覆盖优化matlab仿真
本研究应用遗传优化算法于无线传感器网络(WSN),优化节点布局与数量,以最小化节点使用而最大化网络覆盖率。MATLAB2022a环境下,算法通过选择、交叉与变异操作,逐步改进节点配置,最终输出收敛曲线展现覆盖率、节点数及适应度值变化。无线传感器网络覆盖优化问题通过数学建模,结合遗传算法,实现目标区域有效覆盖与网络寿命延长。算法设计中,采用二进制编码表示节点状态,适应度函数考量覆盖率与连通性,通过选择、交叉和变异策略迭代优化,直至满足终止条件。
|
6月前
|
机器学习/深度学习 算法
m基于GA-GRU遗传优化门控循环单元网络的电力负荷数据预测算法matlab仿真
在MATLAB 2022a中,一个基于遗传算法优化的GRU网络展示显著优化效果。优化前后的电力负荷预测图表显示了改进的预测准确性和效率。GRU,作为RNN的一种形式,解决了长期依赖问题,而遗传算法用于优化其超参数,如学习率和隐藏层单元数。核心MATLAB程序执行超过30分钟,通过迭代和适应度评估寻找最佳超参数,最终构建优化的GRU模型进行负荷预测,结果显示预测误差和模型性能的提升。
183 4
|
12月前
|
机器学习/深度学习 算法 数据库
m基于GA-CNN遗传优化卷积神经网络的手势识别算法matlab仿真
m基于GA-CNN遗传优化卷积神经网络的手势识别算法matlab仿真
124 1
|
6月前
|
机器学习/深度学习 算法
【MATLAB】GA_ELM神经网络时序预测算法
【MATLAB】GA_ELM神经网络时序预测算法
458 9