Object SLAM: An Object SLAM Framework for Association, Mapping, and High-Level Tasks 论文解读

简介: Object SLAM: An Object SLAM Framework for Association, Mapping, and High-Level Tasks 论文解读

是一篇来自机器人顶刊T-RO的文章,发表于2023.5。

An Object SLAM Framework for Association, Mapping, and High-Level Tasks

论文:

An Object SLAM Framework for Association, Mapping, and High-Level Tasks | IEEE Journals & Magazine | IEEE Xplore

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10128836

572105ef909d4673826ac2c2af09cf9b.png

摘要:

Object SLAM在机器人的高级感知和决策中被认为越来越重要。现有研究在数据关联、对象表示和语义建图方面存在不足,并且经常依赖于额外的假设,限制了它们的性能。

在本文中,我们提出了一个综合的ObjectSLAM框架,专注于基于Object的感知和面向Object的机器人任务。首先,我们提出了一个集成数据关联方法,通过结合参数化和非参数化统计测试来关联复杂条件下的对象。

此外,我们提出了一个鲁棒的离群值鲁棒的质心和尺度估计算法,基于iForest和线对齐来建模对象。然后,通过估计的通用对象模型表示一个轻量级的、面向对象的地图。

考虑到对象的语义不变性,我们将对象地图转换为拓扑地图,以提供语义描述符,实现多地图匹配。

最后,我们提出了一种基于对象驱动的主动探索策略,在抓取场景中实现自主建图。

我们使用一系列公共数据集和真实世界的结果来评估所提出的对象SLAM框架的高效性能,包括建图、增强现实、场景匹配、重定位和机器人操作等方面。

关键词—增强现实、数据关联、机器人技术、语义建图、视觉SLAM。

2c6a192e6c6e472b890b6e30674e52e4.png

主要贡献:

本文的贡献总结如下:

1)我们提出了一种集成数据关联策略,可以有效地聚合对象的不同测量结果,提高关联准确性

2)我们提出了一种基于iForest和线对齐的对象姿态估计框架,该框架对离群值具有鲁棒性,并可以准确估计对象的姿态和大小。

3)我们构建了一个轻量级的面向对象的地图,使用通用模型,并在此基础上开发了一个能够考虑遮挡和碰撞的增强现实应用程序。

4)我们将对象地图扩展为拓扑地图,并设计了一个基于参数化对象信息的语义描述符,实现多场景匹配和基于对象的重定位。

5)我们将object SLAM与机器人抓取任务相结合,提出了一种基于对象驱动的主动探索策略,考虑对象观测的完整性和姿态估计的不确定性,实现精确的对象建图和复杂的机器人抓取。

6)我们提出了一个全面的对象SLAM框架,探索了关键挑战,并在各种场景和任务中展示了其实用性。

20387dbd44944702b45a71bd243a1ca6.png

图3. 对象参数化和iForest的演示。 (a-c) 对象参数化的演示。 (d-e) iForest的演示。

a38b9ccc1b9b491fa573f1bc7b0d36d0.png

图4. 线对齐以初始化对象方向。 (a) 在2D图像中进行对象和线的检测。 (b-d) 在3D空间中进行角度采样。 (e-g) 角度采样过程在2D图像中的投影。

5e200b8e26d94aec82e7f4287d074073.png

图5. 语义拓扑地图和对象描述符。 (a) 实际场景。 (b) 对象级地图。 (c) 语义拓扑地图。 (d) 随机游走描述符。 (e) 单个描述符的3D矩阵可视化。

09976e113d0d427a84e013decdde769f.png

91b36b602555485f91a9bc1a536b7b07.png

图7. 观测完整性测量的示意图。左侧:原始图像。中间:带有点云的对象。右侧:带有表面格点的对象。

95e6a3daad8a405083880817a47f5464.png

 图8. 对象驱动探索的示意图。 (a) 探索中信息增益的不同定义。(b) 在不同相机视角下的信息增益。



目录
相关文章
|
19天前
|
机器学习/深度学习 编解码 算法
图像超分:RFB-ESRGAN(Perceptual Extreme Super Resolution Network with Receptive Field Block)
图像超分:RFB-ESRGAN(Perceptual Extreme Super Resolution Network with Receptive Field Block)
67 0
|
19天前
Google Earth Engine(GEE)——影像分类中出现的错误(Classifier confusionMatrix: Property ‘type‘ of feature ‘000000)
Google Earth Engine(GEE)——影像分类中出现的错误(Classifier confusionMatrix: Property ‘type‘ of feature ‘000000)
20 0
|
10月前
|
数据挖掘
MUSIED: A Benchmark for Event Detection from Multi-Source Heterogeneous Informal Texts 论文解读
事件检测(ED)从非结构化文本中识别和分类事件触发词,作为信息抽取的基本任务。尽管在过去几年中取得了显著进展
46 0
|
10月前
|
机器学习/深度学习 自然语言处理 索引
GTEE-DYNPREF: Dynamic Prefix-Tuning for Generative Template-based Event Extraction 论文解读
我们以基于模板的条件生成的生成方式考虑事件抽取。尽管将事件抽取任务转换为带有提示的序列生成问题的趋势正在上升,但这些基于生成的方法存在两个重大挑战
84 0
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction 论文解读
事件抽取(EE)是信息抽取的基本任务,旨在从非结构化文本中抽取结构化事件信息。大多数先前的工作集中于抽取平面事件,而忽略了重叠或嵌套的事件。
69 0
|
10月前
|
机器学习/深度学习 自然语言处理 算法
TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking 论文解读
近年来,从非结构化文本中提取实体和关系引起了越来越多的关注,但由于识别共享实体的重叠关系存在内在困难,因此仍然具有挑战性。先前的研究表明,联合学习可以显著提高性能。然而,它们通常涉及连续的相互关联的步骤,并存在暴露偏差的问题。
125 0
|
11月前
|
机器学习/深度学习 资源调度 数据可视化
【计算机视觉 | 目标检测】Detecting Twenty-thousand Classes using Image-level Supervision
本文提出的方法也采用了经典的两阶段范式,在第一阶段采用直接提取RPN的方法,第二阶段对做细化的具体类别进行assign和识别。
|
机器学习/深度学习 人工智能 数据可视化
【文章阅读】Frustratingly Simple Few-Shot Object Detection
从几个例子中检测稀有物体是一个新出现的问题。先前的研究表明,元学习是一种很有前途的方法。但是,微调技术几乎没有引起人们的注意。我们发现,仅对稀有类现有检测器的最后一层进行微调对于少镜头目标检测任务是至关重要的。在当前的基准测试中,这种简单的方法比元学习方法高出大约2~20个百分点,有时甚至会使以前的方法的准确率翻一番。
151 0
|
人工智能 编解码 自动驾驶
YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
YOLOv7在5 FPS到160 FPS的范围内,在速度和精度方面都超过了所有已知的物体检测器,在GPU V100上以30 FPS或更高的速度在所有已知的实时物体检测器中具有最高的精度56.8% AP。
382 0
|
机器学习/深度学习 算法 数据挖掘
Paper:He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet C》的翻译与解读
Paper:He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》的翻译与解读