自动驾驶:BEVDet

简介: 自动驾驶:BEVDet

@TOC

Introduction

作者通过现有的算法(LSS)、独特的数据增强方案与新的NMS方案整合了一个BEV框架(BEVDet)。
如下图:
在这里插入图片描述
这个框架分为四部分:

  1. Image-view-Encoder(Backbone + neck)。
  2. View Transformer(这就是LSS的lift与splat)。
  3. BEV Encoder (得到BEV特征在通过CNN或者attention提取bev特征)。
  4. Head。

在实验中,BEVDet很好的权衡了检测准确度和时间效率。在nuScenes val集上时,作为快速版本的BEVDet-Tiny的得分为31.2% mAP和39.2% NDS。与FCOS3D相比,BEVDet只需要215.3 GFLOPs 的计算开销, 是FCOS3D11%);运行速度每秒15.6帧,比FCOS3D快9.2倍。另一个高精度版本 BEVDet-Base评分为39.3% mAP和47.2% NDS, 显著地超过所有已发表的结果。在一个相当快的推理速度下,它与FCOS3D相比,mAP 提升了9.8%, NDS 提升了10.0%。

Methodolo

Data Augmentation

坐标转换公式:
在这里插入图片描述

作者在训练途中遇到了严重的over- fitting ,因为在nusuense 数据集下每个场景有6个cam组成,这六个中必然会有交叉的场景重复出现。

另一方面,基于图像视图编码器的批处理大小是子序列模块的N倍。训练数据的不足也是导致在基于BEV空间中学习过拟合的一部分原因。

作者起初想用一些数据增强的方法来缓解过拟合,但是这种方法只在没有bev的时候很work,因为假如我所有的2d image 都做了翻转(所有image做了相同角度的倾斜),由于后面需要把feature融入视锥,而视锥没有倾斜,这样会导致空间分布不一致,造成不必要的噪声。

公式表示如下:
假设本来的pixel 坐标为:
在这里插入图片描述

本来的 3d voxel 坐标为:

在这里插入图片描述

image 数据增强后:
在这里插入图片描述
但是这是3d voxel坐标他是没发生变化的,因为它是在生成视锥是根据原图确定的,而数据增强是在训练阶段进行的,他们没有做到同步。

于是我们需要对它3d voxel 进行逆矩阵变换使得2d 3d 空间分布一致(也就是还是符合通过内外参数的光学成像对应关系), 公式如下:
在这里插入图片描述

Network Structure

这里大家直接看图,简单明了。

在这里插入图片描述

Scale-NMS

在这里插入图片描述

BEV空间中不同类别的空间分布与图像视图空间中的空间分布截然不同。在图像视图空间中,由于相机的透视成像机制,所有类别共享相似的空间分布。因此,对于经典的NMS策略对于不同的类别都采用相同的阈值来来筛选预测结果。(例如在2D目标检测中,任何两个实例的bounding box的IOU值总是低于0.5)

然而,在BEV空间中,各个类的占用面积本质上是不同的,实例之间的重叠应接近于零。因此,预测结果之间的IOU分布因类别而异。

比如行人和锥型交通路标在接地面上占用很小的面积,这总是小于算法的输出分辨率。常见的对象检测范式冗余地生成预测。每个物体的占地面积小,可能使冗余结果与真正结果没有交集。这将使依赖正样本和负样本之间空间关系(IOU)的经典NMS失效。

解决方法:
Scale-NMS在执行经典NMS算法之前,根据每个对象的类别缩放其大小。通过这种方式,调整正样例和冗余结果之间的IOU分布,以与经典NMS匹配。缩放因子是特定于类别的。它们是通过对验证集进行超参数搜索生成的。

实验

在这里插入图片描述

目录
相关文章
|
2天前
|
传感器 人工智能 监控
无人驾驶拖拉机
无人驾驶拖拉机
27 1
|
2天前
|
传感器 机器学习/深度学习 自动驾驶
自动驾驶中的感知模型:实现安全和智能驾驶的关键
自动驾驶中的感知模型:实现安全和智能驾驶的关键
|
2天前
|
传感器 机器学习/深度学习 监控
|
7月前
|
机器学习/深度学习 传感器 自动驾驶
自动驾驶技术2
自动驾驶技术2
28 1
|
7月前
|
机器学习/深度学习 传感器 自动驾驶
自动驾驶技术1
自动驾驶技术1
33 1
|
7月前
|
机器学习/深度学习 传感器 自动驾驶
自动驾驶技术3
自动驾驶技术3
39 1
|
8月前
|
人工智能 供应链 自动驾驶
自动驾驶(二)
自动驾驶(二)
60 0
|
8月前
|
传感器 监控 自动驾驶
自动驾驶(一)
自动驾驶(一)
90 0
|
自动驾驶 中间件
|
监控 自动驾驶 机器人
到底“谁”最需要无人驾驶汽车?
想要开发出几乎能够适应一切道路状况的无人驾驶汽车,无疑是项极度严苛的挑战。