Event Camera动态视觉传感器,让无人机用相机低成本进行导航

简介:

几年前,苏黎世大学的Davide Scaramuzza实验室为我们带来了一种动态视觉传感器——Event Camera。Event camera与普通照相机有很大的差别,它对于小巧迅捷的机器人是十分理想的,尤其当你更考虑减小碰撞的几率而非清晰拍摄事物的时候。

在提交给Robotics and Automation Letters的一篇论文中,Timo Horstschaefer、Antoni Rosinol Vidal、Antoni Rosinol Vidal和Antoni Rosinol Vidal教授首次展示了一架用于自主驾驶无人机的Event Camera,并承诺这将使无人机完成以前做不了的事情。

无人机自主导航成本最低的方法是使用相机。在这一点上,相机的成本几乎是零。非常重要的是如果你将相机与IMU融合,在移动速度不快,而且有可靠的照明设备情况下,相机就可以提供完全合理的状态评估。

状态评估——准确地知道你在哪里在做什么,这听起来很无聊,但对于自动机器人来说绝对是至关重要的。为了让机器人做出与周围环境交互的决策,它必须对自己的位置、移动速度和方向有很好的识别功能。

有很多方法可以进行状态评估,其中最精确的是耐用且价格不菲的场外运动捕捉系统。当你开始尝试用更小更简单的机器人进行状态评估时,问题就变得困难起来,特别是当你试图将其运用在高度动态的平台上,比如快速移动的四旋翼飞行器。

这就是为什么人们会忍不住要依赖相机,但是相机本身也有很多问题。第一个重要的问题是当传感器的移动超过所能被相机帧率捕捉上限时,相机的图片就会变得模糊;第二个问题是,相机和人眼一样对于光线非常讲究(金发女孩效应):它只能是刚刚好,既不能过少也不能过多,也不是在两极之间的任意值。

Event Camera动态视觉传感器,让无人机用相机低成本进行导航

与传统相机相比,Event Camera是完全不同的,它不是记录一个场景的,而是记录一个场景的变化。在一个没有物体移动的场景中架设一台Event Camera,它不会显示任何东西。但是一旦Event Camera检测到运动(像素级的光线发生了变化),它就会在每个像素的基础上以非常高的刷新率(毫秒)呈现出来。如果你所关心的是在移动时避开物体,一台Event Camera就是你的不二之选,因为这种相机只是在寻找像素的变化,对低光也很敏感,并且不会因为强光而拍不到移动物体。

在苏黎世大学,他们使用了一个名为DAVIS的原型传感器。这个传感器是将一个Event Camera嵌入一个标准相机的像素阵列中,同时还嵌入了一个与事件和帧同步的IMU。通过这种方式,他们的四旋翼飞行器可以自主飞行,甚至是在光线变化的情况下也可以:在这项工作中,我们利用紧密耦合的事件、标准框架和惯性测量研发了第一个状态评估传递途径,这一传递途径实现这两个传感器互补优势。我们表明,我们的混合传递途径比仅用于事件处理的传递途径的精度提高了130%,而准确率比只有视觉惯性系统的标准框架超出了了85%,同时还维持了计算机可处理性。此外,我们使用此传递途径来演示了第一个使用Event Camera来进行状态评估的四旋翼飞行器,解锁飞行场景,这是传统的视觉惯性测程法不能做到的。我们证明我们甚至可以在低光(比如关灯后的房间)或高动态光照的环境(房间的一边是明亮的,房间的另一边是黑暗的)中飞行。

为了检测相对运动的精确状态评估,四旋翼飞行器的相机试图识别出独特的图像特征,并追踪这些特征是如何移动的。正如视频所显示的,当光线发生变化或太暗时,标准相机就会失效,而Event Camera则完全没有受到影响。研究者还未在户外(明亮的阳光和阴影之间的快速转换对于机器人来说是特别的挑战)进行测试,但是基于现阶段的成果,这非常有可能实现,并且我们很期待具有什么样新功能的传感器能够实现户外拍摄。



本文作者:captainyan
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
6月前
|
编解码 Linux API
【Camera基础(一)】Camera摄像头工作原理及整机架构
【Camera基础(一)】Camera摄像头工作原理及整机架构
|
机器学习/深度学习 人工智能 算法
LabVIEW深度相机与三维定位实战(三)
立体匹配与ACV算法理论知识
147 0
LabVIEW深度相机与三维定位实战(三)
|
7月前
|
编解码 编译器 网络安全
LabVIEW使用视觉采集软件从GigE视觉相机进行采集 1
LabVIEW使用视觉采集软件从GigE视觉相机进行采集 1
230 0
|
7月前
|
传感器 编解码 计算机视觉
事件相机 PROPHESEE EVK4紧凑基于事件的 高清视觉评估套件 视觉传感 EVK4
探索基于事件的视觉,从 PROPHESEE EVK4 HD 开始。这款超轻、紧凑的高清 Metavision ®评估套件,可承受现场测试条件。集成 IMX636(高清),堆叠式事件视觉传感器由索尼半导体解决方案公司发布,由索尼和 PROPHESEE 合作实现。
事件相机 PROPHESEE EVK4紧凑基于事件的 高清视觉评估套件 视觉传感 EVK4
|
机器学习/深度学习 传感器 编解码
LabVIEW实现深度相机与三维定位实战(一)
LabVIEW实现深度相机与三维定位实战(一)
323 0
LabVIEW实现深度相机与三维定位实战(一)
|
机器学习/深度学习 人工智能 算法
LabVIEW深度相机与三维定位实战(四)
立体匹配与ACV算法在LabVIEW中的调用
123 0
LabVIEW深度相机与三维定位实战(四)
|
机器学习/深度学习 传感器 编解码
LabVIEW实现深度相机与三维定位实战(二)
LabVIEW实现深度相机与三维定位实战(二)
238 0
LabVIEW实现深度相机与三维定位实战(二)
|
传感器 vr&ar 开发工具
Baumer工业相机VCX系列相机硬件触发流程和设置
Baumer工业相机VCX系列相机硬件触发流程和设置
1198 0
|
vr&ar 开发工具 git
Baumer工业相机万兆网10GigeVLXT系列相机硬件触发流程和设置
Baumer工业相机万兆网10GigeVLXT系列相机硬件触发流程和设置
155 0
|
算法
三维手臂动态matlab仿真,可以灵活控制手指运动
三维手臂动态matlab仿真,可以灵活控制手指运动
129 0
三维手臂动态matlab仿真,可以灵活控制手指运动