CVPR 2021 | CenterPoint:基于Center的3D目标检测和跟踪|代码已开源

简介: 3D目标通常表示为点云中的3D框。这种表示方法模仿了经过充分研究的基于图像的2D边界框检测,但也带来了其他挑战。3D世界中的物体没有遵循任何特定的方向,并且基于盒的检测器很难枚举所有方向或将轴对齐的边界框拟合到旋转的对象。

本文提出将3D目标表示为点(points),表现SOTA!性能优于3DSSD、PointPainting等,端到端3D检测和跟踪速度达30 FPS!代码现已开源!

640.png


作者团队:UT Austin(二作就是CenterNet的作者)

代码:https://github.com/tianweiy/CenterPoint

论文:https://arxiv.org/pdf/2006.11275.pdf

3D目标通常表示为点云中的3D框。这种表示方法模仿了经过充分研究的基于图像的2D边界框检测,但也带来了其他挑战。3D世界中的物体没有遵循任何特定的方向,并且基于盒的检测器很难枚举所有方向或将轴对齐的边界框拟合到旋转的对象。


在本文中,我们提出将3D目标表示为点(points),并进行跟踪。


640.png


图1:作者提出了一个基于中心的框架来表示,检测和跟踪对象。以前的基于锚的方法相对于自我车辆坐标使用“轴对齐”的锚。当车辆在直路上行驶时,基于锚点和基于中心的方法都能够准确地检测物体(顶部)。但是,在安全关键的左转(底部)期间,基于锚点的方法很难将轴对齐的边界框拟合到旋转的对象。我们基于中心的模型通过旋转不变点准确地检测物体。彩色效果最佳。


我们使用关键点检测器查找对象的中心,然后简单地回归其他属性,包括3D大小,3D方向和速度。在我们基于中心的框架中,3D目标跟踪简化为贪婪的最近点匹配。所得的检测和跟踪算法简单,高效且有效。


640.png


图2:我们的CenterPoint框架概述。我们依赖于一个标准的3D主干,该主干从Lidar点云中提取地图视图要素表示。然后,2D CNN架构检测头找到对象中心,并使用中心特征退回到完整的3D边界框。该框预测用于提取估计的3D边界框的每个面的3D中心处的点特征,这些点特征将传递到MLP中以预测IoU引导的置信度得分和框回归细化。彩色效果最佳


Highlights


  • S简单: 两句话方法总结:我们使用头部带有一些卷积层的标准3D点云编码器来生成鸟瞰热图和其他密集回归输出,包括前一帧中心的偏移量。检测是一种简单的局部峰提取,具有改进功能,而跟踪是最接近距离的匹配。


  • 快速而准确: 我们最好的单一型号在11FPS +上运行时,在Waymo上达到71.9 mAPH,在nuScenes上达到65.5 NDS。


  • 可扩展: 在您的新颖算法中可轻松替换基于锚的检测器。

640.png


图3:在Waymo验证中CenterPoint的定性结果示例。我们将原始点云显示为蓝色,将检测到的对象显示为绿色边界框,并使用红色将边界点内部的激光雷达点显示为红色。最好在屏幕上观看。


实验结果


在nuScenes数据集上,针对3D检测,基于点的表示比基于盒子的表示高3-4 mAP,针对3D跟踪的表现比基于Box的表示高6 aMOTA。


640.png

表1:在Waymo测试仪上进行3D检测的最新比较。我们同时显示了1级和2级基准的mAP和mAPH。


640.png


表2:在nuScenes测试集上进行3D检测的最新比较。我们显示了nuScenes检测得分(NDS)和平均平均精度(mAP).


640.png


表3:在Waymo测试仪上进行3D跟踪的最新比较。我们展示了MOTA和MOTP。↑代表更好,而↓代表更低。


我们的实时模型以30帧/秒的速度运行端到端3D检测和跟踪,具有54.2 AMOTA和48.3 mAP,而最好的单一模型可实现60.3 mAP的3D检测和63.8 AMOTA的3D跟踪。


640.png


表4:在nuScenes测试集上进行3D跟踪的最新比较。我们显示了AMOTA,假阳性(FP),假阴性(FN),ID开关(IDS)和每个类别的AMOTA的数量。↑代表更好,而↓代表更低。

640.png


表5:Waymo验证中基于锚和基于中心的3D检测方法的比较。我们显示每级和平均LEVEL 2 mAPH。


640.png


表6:基于锚点和基于中心的nuScenes验证3D检测方法的比较。我们显示了平均平均精度(mAP)和nuScenes检测得分(NDS)。


640.png


640.png

                       表11:在Waymo验证中进行3D检测的最新比较

640.png


表12:用于nuScenes验证的3D跟踪的消融研究。我们显示了不同检测器和跟踪器的组合。CenterPoint- *是我们的探测器。点是我们建议的跟踪器。M-KF是基于Mahalanobis距离的卡尔曼滤波器的缩写,如最后一次挑战获胜者Chiu等人[10]所使用的。Ttrack表示跟踪时间,Ttot表示检测和跟踪的总时间。

结论


我们提出了一个基于中心的框架,用于同时从Lidar点云进行3D对象检测和跟踪。我们的方法使用标准的3D点云编码器,该编码器的头部带有一些卷积层,以产生鸟瞰热图和其他密集的回归输出。检测是一种简单的局部峰提取,具有改进功能,而跟踪是最接近距离的匹配。CenterPoint简单,近乎实时,并在Waymo和nuScenes基准测试中达到了最先进的性能.

相关文章
|
存储 机器学习/深度学习 算法
MMDetection3d对KITT数据集的训练与评估介绍
MMDetection3d对KITT数据集的训练与评估介绍
2564 0
MMDetection3d对KITT数据集的训练与评估介绍
|
存储 数据采集 数据可视化
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
16316 1
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
|
传感器 机器学习/深度学习 编解码
一文尽览 | 基于点云、多模态的3D目标检测算法综述!(Point/Voxel/Point-Voxel)(下)
目前3D目标检测领域方案主要包括基于单目、双目、激光雷达点云、多模态数据融合等方式,本文主要介绍基于激光雷达雷达点云、多模态数据的相关算法,下面展开讨论下~
一文尽览 | 基于点云、多模态的3D目标检测算法综述!(Point/Voxel/Point-Voxel)(下)
|
存储 传感器 数据可视化
3D目标检测数据集 KITTI(标签格式解析、3D框可视化、点云转图像、BEV鸟瞰图)
本文介绍在3D目标检测中,理解和使用KITTI 数据集,包括KITTI 的基本情况、下载数据集、标签格式解析、3D框可视化、点云转图像、画BEV鸟瞰图等,并配有实现代码。
3430 1
|
传感器 机器学习/深度学习 人工智能
史上最全综述 | 3D目标检测算法汇总!(单目/双目/LiDAR/多模态/时序/半弱自监督)(下)
近年来,自动驾驶因其减轻驾驶员负担、提高行车安全的潜力而受到越来越多的关注。在现代自动驾驶系统中,感知系统是不可或缺的组成部分,旨在准确估计周围环境的状态,并为预测和规划提供可靠的观察结果。3D目标检测可以智能地预测自动驾驶车辆附近关键3D目标的位置、大小和类别,是感知系统的重要组成部分。本文回顾了应用于自动驾驶领域的3D目标检测的进展。
史上最全综述 | 3D目标检测算法汇总!(单目/双目/LiDAR/多模态/时序/半弱自监督)(下)
|
存储 并行计算 计算机视觉
Fast-BEV的CUDA落地 | 5.9ms即可实现环视BEV 3D检测落地!代码开源
Fast-BEV的CUDA落地 | 5.9ms即可实现环视BEV 3D检测落地!代码开源
944 0
|
机器学习/深度学习 算法 测试技术
谷歌3D多目标跟踪新基线 | SimpleTrack:理解和重新思考3D多目标跟踪
近年来,三维多目标跟踪(MOT)出现了许多新的基准和方法,尤其是那些“检测跟踪”范式下的基准和算法。尽管它们取得了进展并发挥了作用,但尚未对其优缺点进行深入分析。本文将当前的3D MOT方法归纳为一个统一的框架,将其分解为四个组成部分:检测预处理、关联、运动模型和生命周期管理。
谷歌3D多目标跟踪新基线 | SimpleTrack:理解和重新思考3D多目标跟踪
|
计算机视觉
FCOS升级 | FCOS在3D检测中应该如何使用呢?FCOS3D就是最好的验证(二)
FCOS升级 | FCOS在3D检测中应该如何使用呢?FCOS3D就是最好的验证(二)
707 0
|
数据可视化 计算机视觉 异构计算
【论文解读】单目3D目标检测 MonoCon(AAAI2022)
本文分享单目3D目标检测,MonoCon模型的论文解读,了解它的设计思路,论文核心观点,模型结构,以及效果和性能。
699 0
|
机器学习/深度学习 边缘计算 人工智能
一文尽览 | 基于点云、多模态的3D目标检测算法综述!(Point/Voxel/Point-Voxel)(上)
目前3D目标检测领域方案主要包括基于单目、双目、激光雷达点云、多模态数据融合等方式,本文主要介绍基于激光雷达雷达点云、多模态数据的相关算法,下面展开讨论下~
一文尽览 | 基于点云、多模态的3D目标检测算法综述!(Point/Voxel/Point-Voxel)(上)