论文阅读:RRPN:RADAR REGION PROPOSAL NETWORK FOR OBJECT DETECTION IN AUTONOMOUS VEHICLES

简介: 论文阅读:RRPN:RADAR REGION PROPOSAL NETWORK FOR OBJECT DETECTION IN AUTONOMOUS VEHICLES

写在前面

  在上篇文章中,我们学习到了激光雷达和相机融合的论文。那么这篇文章我将来介绍一下毫米波雷达和相机融合的方法。这里我先给出三种传感器(相机、激光雷达、毫米波雷达)的一些属性特点,如下:

image.png  radar可以在检测到的物体上提供准确的距离和速率信息,但它们不适用于诸如物体分类之类的任务,因为它不能够识别物体的属性。另一方面,相机是用于对象分类的非常有效的传感器,使radar和相机传感器融合成为自动驾驶应用中非常有趣的话题。

RRPN网络

这篇文章的核心就是这个RRPN网络,主要由三个部分组成,即透视变换、锚点生成、距离补偿。值得一提的是这个RRPN网络是非常好理解的,但是你需要对fast-RCNN、faster-RCNN有一定的认识,论文中网络的整体整体框架也是和fast-RCNN类似的。下面将来分别介绍这三个部分。

  • 透视变换

生成 ROI 的第一步是将雷达检测从车辆坐标映射到摄像机视图坐标。 雷达检测以鸟瞰图的形式报告,如下图所示,物体的距离和方位角在车辆的坐标系中测量。 通过将这些检测到的量映射到相机视图坐标,我们能够将雷达检测到的对象与相机获得的图像中看到的对象相关联。

9a64d99b942b5042ef4a3e77ceb8d15f.png

  上文红色字体的意思就是说我们可以将毫米波雷达的角度和距离数据投影到相机的三维坐标中,为方便大家理解,我画了从雷达坐标到相机坐标转化的示意图,如下:

d2528d7e73cd80faa2fc1147914201a5.png

这样我们就得到了相机坐标系下的坐标,之后可以通过四系坐标转化将坐标投影到像素坐标系下。论文中还提到了相机的标定,这里给出张氏标定法参考链接:https://blog.csdn.net/qq_47233366/article/details/124165936?spm=1001.2014.3001.5502🥝🥝🥝


  • 锚点生成


从上一步我们已经将毫米波雷达检测坐标投影到了像素坐标系下,这时我们就有了图像中每个检测到的物体的大致位置。这些映射到图像上的点(以下称为兴趣点 (POI)) 提供了有关每个图像中对象的有价值的信息,从而无需对图像本身进行任何处理。有了这些信息,提出ROI的一种简单方法就是引入一个以每个POI为中心的边界框。但是这样的处理会存在一些问题,一个问题是雷达检测并不总是映射到每个图像中检测到的对象的中心。另一个问题是,雷达不提供关于检测到的物体的大小的任何信息。为解决这些问题,论文中采取了不同大小和不同比例的候选框且候选框在POI不同位置的策略,如下图所示:【其实这里就基本和fastet-RCNN类似】5e77a73c59321b69e76114b98ff10284.png


  • 距离补偿


 每个物体与车辆的距离在确定其在图像中的尺寸方面起着重要作用。通常,图像中物体的大小与其与相机的距离成反比关系。雷达检测具有每个检测到的物体的距离信息,在此步骤中用于缩放所有生成的锚点。我们使用以下公式来确定要在锚点上使用的缩放因子:image.png


实验结果

  实验中使用两种不同的骨干网络,一个是ResNet-101(后文简称R101),一个是ResNext-101(后文称X101),且设置了两个数据集,如下:

第一个子集 第二个子集
NS-F NS-FB
包含前置摄像头和前置雷达 包含后置摄像头和两个后置雷达
共有23k个样本 共有45k个样本

image.png

  从上图可以看出,实验RRPN网络的检测精度要比使用SS算法高,此外在实验中,RRPN 能够每秒 处理70 到 90 张图像,而选择性搜索算法每张图像需要 2-7 秒,也就是说使用RRPN网络可以大大提高网络的速度。


论文下载

下载地址:https://arxiv.org/pdf/1905.00526.pdf

 

目录
打赏
0
0
1
0
78
分享
相关文章
论文精度笔记(四):《Sparse R-CNN: End-to-End Object Detection with Learnable Proposals》
Sparse R-CNN是一种端到端的目标检测方法,它通过使用一组可学习的稀疏提议框来避免传统目标检测中的密集候选框设计和多对一标签分配问题,同时省去了NMS后处理步骤,提高了检测效率。
82 0
论文精度笔记(四):《Sparse R-CNN: End-to-End Object Detection with Learnable Proposals》
自学记录鸿蒙API 13:实现多目标识别Object Detection
多目标识别技术广泛应用于动物识别、智能相册分类和工业检测等领域。本文通过学习HarmonyOS的Object Detection API(API 13),详细介绍了如何实现一个多目标识别应用,涵盖从项目初始化、核心功能实现到用户界面设计的全过程。重点探讨了目标类别识别、边界框生成、高精度置信度等关键功能,并分享了性能优化与功能扩展的经验。最后,作者总结了学习心得,并展望了未来结合语音助手等创新应用的可能性。如果你对多目标识别感兴趣,不妨从基础功能开始,逐步实现自己的创意。
212 60
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》这篇论文提出了一种基于YOLOv3-Tiny的轻量级目标检测模型Micro-YOLO,通过渐进式通道剪枝和轻量级卷积层,显著减少了参数数量和计算成本,同时保持了较高的检测性能。
70 2
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
论文精度笔记(一):《ZERO-SHOT DETECTION WITH TRANSFERABLE OBJECT PROPOSAL MECHANISM》
本论文提出了一种零样本检测方法,通过引入可转移的对象候选机制来关联类别间的共现关系,并使用所有类的置信度分布进行对象置信度预测,以提高对未见类别物体的检测性能。
48 3
论文精度笔记(一):《ZERO-SHOT DETECTION WITH TRANSFERABLE OBJECT PROPOSAL MECHANISM》
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
YOLOv7是一种新的实时目标检测器,通过引入可训练的免费技术包和优化的网络架构,显著提高了检测精度,同时减少了参数和计算量。该研究还提出了新的模型重参数化和标签分配策略,有效提升了模型性能。实验结果显示,YOLOv7在速度和准确性上超越了其他目标检测器。
94 0
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
基于深度学习的目标检测的介绍(Introduction to object detection with deep learning)
基于深度学习的目标检测的介绍(Introduction to object detection with deep learning)
61 0
Uno Platform大揭秘:如何在你的跨平台应用中,巧妙融入第三方库与服务,一键解锁无限可能,让应用功能飙升,用户体验爆棚!
【8月更文挑战第31天】Uno Platform 让开发者能用同一代码库打造 Windows、iOS、Android、macOS 甚至 Web 的多彩应用。本文介绍如何在 Uno Platform 中集成第三方库和服务,如 Mapbox 或 Google Maps 的 .NET SDK,以增强应用功能并提升用户体验。通过 NuGet 安装所需库,并在 XAML 页面中添加相应控件,即可实现地图等功能。尽管 Uno 平台减少了平台差异,但仍需关注版本兼容性和性能问题,确保应用在多平台上表现一致。掌握正确方法,让跨平台应用更出色。
85 0
简化目标检测流程:深入探讨TensorFlow Object Detection API的高效性与易用性及其与传统方法的比较分析
【8月更文挑战第31天】TensorFlow Object Detection API 是一项强大的工具,集成多种先进算法,支持 SSD、Faster R-CNN 等模型架构,并提供预训练模型,简化目标检测的开发流程。用户只需准备数据集并按要求处理,选择预训练模型进行微调训练即可实现目标检测功能。与传统方法相比,该 API 极大地减少了工作量,提供了从数据预处理到结果评估的一站式解决方案,降低了目标检测的技术门槛,使初学者也能快速搭建高性能系统。未来,我们期待看到更多基于此 API 的创新应用。
48 0
TensorFlow Object Detection API 超详细教程和踩坑过程
TensorFlow Object Detection API 超详细教程和踩坑过程
262 1
Object SLAM: An Object SLAM Framework for Association, Mapping, and High-Level Tasks 论文解读
Object SLAM: An Object SLAM Framework for Association, Mapping, and High-Level Tasks 论文解读
121 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等