伯克利开源首个泊车场景下的高清数据集和预测模型,支持目标识别、轨迹预测

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 伯克利开源首个泊车场景下的高清数据集和预测模型,支持目标识别、轨迹预测

作者:沈煦

Dragon Lake Parking (DLP) 数据集以无人机正射航拍视角,提供了大量经过标注的高清 4K 视频和轨迹数据,记录了在停车场环境内,不同类型的车辆、行人和自行车的运动及交互行为。数据集时长约 3.5 小时,采样率为 25Hz,覆盖区域面积约为 140 m x 80 m,包含约 400 个停车位,共记录了 5188 个主体。数据集提供两种格式:JSON 和原视频 + 标注,可服务的研究方向包括:大规模高精度目标识别和追踪、空闲车位检测、车辆和行人的行为和轨迹预测、模仿学习等。


在自动驾驶技术不断迭代的当下,车辆的行为和轨迹预测对高效、安全驾驶有着极为重要的意义。动力学模型推演、可达性分析等传统的轨迹预测的方法虽然有着形式明晰、可解释性强的优点,但在复杂的交通环境中,其对于环境和物体交互的建模能力较为有限。因此,近年来大量研究和应用都基于各种深度学习方法(例如 LSTM、CNN、Transformer、GNN 等),各类数据集例如 BDD100K、nuScenes、Stanford Drone、ETH/UCY、INTERACTION、ApolloScape 等也纷纷涌现,为训练和评估深度神经网络模型提供了强力支持,不少 SOTA 模型例如 GroupNet、Trajectron++、MultiPath 等都表现出了良好的性能。

以上模型和数据集都集中在正常的道路行驶场景下,并充分利用车道线、交通灯等基础设施和特征辅助预测过程;由于交通法规的限制,绝大多数车辆的运动方式也较为明确。然而,在自动驾驶的 “最后一公里”—— 自动泊车场景下,我们将面对不少新的困难:

  • 停车场内的交通规则和车道线要求并不严格,车辆也经常随意行驶 “抄近路”
  • 为了完成泊车任务,车辆需要完成较为复杂的泊车动作,包括频繁的倒车、停车、转向等。在驾驶员经验不足的情况下,泊车可能成为一个漫长的过程
  • 停车场内障碍物较多且杂乱,车间距离较近,稍不留神就可能导致碰撞和剐蹭
  • 停车场内行人往往随意穿行,车辆需要更多的避让动作


在这样的场景下,简单套用现有的轨迹预测模型难以达到理想的效果,而重新训练模型又缺乏相应数据的支持。当下基于停车场景的数据集例如 CNRPark+EXT 和 CARPK 等,都仅为空闲停车位检测而设计,图片来源于提供监控相机第一人称视角、采样率低、且遮挡较多,无法用于轨迹预测。

在 2022 年 10 月刚刚结束的第 25 届 IEEE 智能交通系统国际会议 (IEEE ITSC 2022) 中,来自加州大学伯克利分校的研究者们发布了首个针对停车场景的高清视频 & 轨迹数据集,并在此数据集的基础上,利用 CNN 和 Transformer 架构提出了名为 “ParkPredict+” 的轨迹预测模型



数据集信息
数据集由无人机进行采集,总时长为 3.5 小时,视频分辨率为 4K,采样率 25Hz。视野范围覆盖了约 140m x 80m 的停车场区域,共计约 400 个停车位。数据集经过精确标注,共采集到 1216 辆机动车、3904 辆自行车和 3904 位行人的轨迹。

经过重新处理后,轨迹数据可以 JSON 的形式读取,并加载为连接图(Graph)的数据结构:

  • 个体(Agent):每个个体(Agent)即为一个在当前场景(Scene)下运动的物体,具备几何形状、类型等属性,其运动轨迹被储存为一个包含实例(Instance)的链表(Linked List)
  • 实例(Instance):每个实例(Instance)即为一个个体(Agent)在一帧(Frame)中的状态,包含其位置、转角、速度和加速度。每个实例都包含指向该个体在前一帧和后一帧下实例的指针
  • 帧(Frame):每一帧(Frame)即为一个采样点,其包含当前时间下所有可见的实例(Instance),和指向前一帧和后一帧的指针
  • 障碍物(Obstacle):障碍物即为在此次记录中完全没有移动的物体,包含各个物体的位置、转角和几何尺寸
  • 场景(Scene):每个场景(Scene)对应于一个录制的视频文件,其包含指针,指向该录制的首帧和尾帧、所有个体(Agent)和所有障碍物(Obstacle)



数据集提供两种下载格式:
仅 JSON(推荐):JSON 文件包含所有个体的类型、形状、轨迹等信息,可以通过开源的 Python API 直接读取、预览、并生成语义图像(Semantic Images)。如果研究目标仅为轨迹和行为预测,JSON 格式可以满足所有的需求。


原视频和标注:如果研究是基于相机原图像(Raw Image)的目标检测、分隔、追踪等机器视觉领域课题,那么可能会需要下载原视频和标注。如有此需要,需要在数据集申请中明确描述该研究需求。另外,标注文件需自行解析。


行为和轨迹预测模型:ParkPredict+

作为应用示例,在 IEEE ITSC 2022 的论文《ParkPredict+: Multimodal Intent and Motion Prediction for Vehicles in Parking Lots with CNN and Transformer》中,研究团队利用此数据集,基于 CNN 和 Transformer 架构实现了在停车场场景下车辆的意图(Intent)和轨迹(Trajectory)预测。


  团队利用 CNN 模型,通过构建语义图像(Semantic Images),实现了对于车辆意图(Intent)分布概率的预测 。该模型仅需要构建车辆局部的环境信息,且可根据当前环境,不断变化可供选择的意图数量。

团队通过改进 Transformer 模型,将意图(Intent)预测结果、车辆的运动历史、周边环境的语义图作为输入提供,实现了多模态(Multi-modal)的意图和行为预测。


总结

  • 作为首个针对泊车场景的高精度数据集,Dragon Lake Parking (DLP) 数据集可为该场景下大规模目标识别和追踪、空闲车位检测、车辆和行人的行为和轨迹预测、模仿学习等研究提供数据和 API 支持
  • 通过使用 CNN 和 Transformer 架构,ParkPredict + 模型在泊车场景下的行为和轨迹预测中展现除了良好的能力
  • Dragon Lake Parking (DLP) 数据集已开放试用和申请,可通过访问数据集主页 https://sites.google.com/berkeley.edu/dlp-dataset 了解详细信息(如无法访问,可尝试备用页面 https://cutt.ly/dlp-notion
相关文章
|
7月前
|
人工智能
港科大等发布多模态图推理问答数据集GITQA
【2月更文挑战第14天】港科大等发布多模态图推理问答数据集GITQA
150 7
港科大等发布多模态图推理问答数据集GITQA
|
7月前
|
机器学习/深度学习 传感器 算法
【论文速递】AAAI2023 - BEVDepth: 用于多视图三维物体检测的可靠深度采集
【论文速递】AAAI2023 - BEVDepth: 用于多视图三维物体检测的可靠深度采集
|
传感器 机器学习/深度学习 自动驾驶
无人驾驶中常用的37个数据集以及每个数据集的亮点
我们在写论文的时候,经常会用到数据集.以下是我的一些整理.
|
1月前
|
自动驾驶 计算机视觉
单目三维检测实时泛化,纯视觉自动驾驶鲁棒感知方法入选ECCV 2024
【10月更文挑战第25天】单目三维物体检测在自动驾驶领域具有重要应用价值,但训练数据和测试数据的分布差异会影响模型性能。为此,研究人员提出了一种名为“单目测试时适应”(MonoTTA)的方法,通过可靠性驱动的适应和噪声防护适应两个策略,有效处理测试时的数据分布变化,提高模型在未知数据上的泛化能力。实验结果表明,MonoTTA方法在KITTI和nuScenes数据集上显著提升了性能。
27 2
|
2月前
|
人工智能 计算机视觉
时序=图像?无需微调,视觉MAE跨界比肩最强时序预测大模型
【10月更文挑战第15天】《VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters》提出了一种创新方法,通过将时序数据转化为图像,利用视觉掩码自编码器(MAE)进行自监督预训练,实现时序预测。该模型在未进行任何时序域适配的情况下,展现了出色的零样本预测性能,并且通过少量微调即可达到最先进水平。这一研究为时序预测领域带来了新希望,同时也引发了关于模型解释性和可信度的讨论。
86 1
|
3月前
|
编解码 定位技术 计算机视觉
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
【9月更文挑战第2天】浙江大学领衔的研究团队针对多模态大型模型(MLLM)在抽象图像理解和视觉推理上的不足,提出了一种利用GPT-4合成数据构建多模态基准的方法。该研究通过合成数据提高了MLLM处理图表、文档等复杂图像的能力,并构建了一个包含11,193条指令的基准,涵盖8种视觉场景。实验表明,这种方法能显著提升模型性能,但依赖闭源模型和高计算成本是其局限。论文详细内容见:https://arxiv.org/pdf/2407.07053
85 10
|
4月前
KDD 2024:零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT
【8月更文挑战第21天】UrbanGPT是由香港大学等机构研发的时空大模型,针对城市管理中因数据稀缺导致的预测难题,通过时空依赖编码器与指令调整技术实现强大的泛化能力。此模型能在多种城市任务中无需样本进行准确预测,如交通流量和人群流动等,有效应对数据收集难的问题,在零样本场景下表现优异,为智慧城市管理提供了有力工具。[论文](https://arxiv.org/abs/2403.00813)
60 1
|
7月前
|
机器学习/深度学习 算法 数据挖掘
计算机视觉五大核心研究任务全解:分类识别、检测分割、人体分析、三维视觉、视频分析
计算机视觉五大核心研究任务全解:分类识别、检测分割、人体分析、三维视觉、视频分析
732 1
|
4月前
|
机器学习/深度学习 数据采集 存储
【2021 第五届“达观杯” 基于大规模预训练模型的风险事件标签识别】2 DPCNN、HAN、RCNN等传统深度学习方案
参加2021第五届“达观杯”基于大规模预训练模型的风险事件标签识别比赛的经验,包括使用DPCNN、HAN、TextRCNN、CapsuleNet和TextRCNNAttention等传统深度学习模型的方案实现,以及提分技巧,如多个模型的提交文件投票融合和生成伪标签的方法。
42 0
|
7月前
|
传感器 机器学习/深度学习 编解码
卫星图像10个开源数据集资源汇总
卫星图像10个开源数据集资源汇总
191 0

热门文章

最新文章