用AI算法分析光影看到盲点:这项MIT新研究偷学到二娃技能

简介:
本文来自AI新媒体量子位(QbitAI)

嗨少年,想不想来双透视眼?

虽然这听起来有些科幻,但近日,麻省理工学院(MIT)计算机科学和人工智能实验室(CSAIL)的研究人员发明了一种新算法,让你能够看到障碍物背后的物体。

这个AI系统可以借助智能手机的摄像头,收集光反射的相关信息,检测隐藏在障碍物后的任何物体,还能实时测量它们的移动速度和行进轨迹。

 原理讲解官方视频

半影与“角落相机”

换个画面感的解释吧:想象一下,你走在一条“L”形的走廊上,拐角的另一边放置了一堆杂物。这些杂物投射在你视线内地面上的少量光线,形成一个模糊的阴影,我们称之为“半影”(penumbra)。

 发光体(非点光源)发出光线部分被非透明物体阻挡后,在屏幕(或其他物体)上所投射出来的,本影周围较暗的区域 | 图片来自维基百科

AI系统就利用了智能手机摄像头中半影的视频,将一系列一维图像组合在一起,揭示周围物体的信息。研究人员将这个“透视眼”系统称为“角落相机”(ConerCameras)。

 角落相机能将人眼难以发现的半影区清晰识别出来

“即使这些物体对相机来说不可见,但我们可以通过物体运动产生的半影判断物体的位置和移动情况,”该研究论文的第一作者Katherine Bouman表示,“用这种方法,隐藏在有边缘的墙或其他障碍物后的物体也可见了。”

优于激光

根据研究前辈的经验,大多数观察障碍物的方法都需要用到特殊的激光。具体来说,研究人员在可见光和隐藏的场景中都能看到特定点的摄像头,之后测量光返回的时间。

然而,这种基于时间飞行原理(time-of-flight,TOF)的相机造价高昂,受环境光线的影响很大,尤其在户外环境下,TOF相机就不那么好用了。

与之相反的是,CSAIL团队的这项技术无需积极地在空间中投影,无论室内还是室外的使用效果都很好。最重要的是,所需设备很常见,只需要一个基于网络的摄像头或者智能手机,以及一台运行算法的笔记本电脑。

通过在相机中观察半影,角落相机生成一维隐藏场景图像。单独的一张图像包含很多“噪声”数据,因此用处不大。但是通过几秒钟的观察场景,将收集到的图像“缝合”到一起,系统就能确定不同物体的移动速度和轨迹了。

“这个概念本身就非常创新,想让它在实际生活中发挥作用既需要创新性,又考验研究人员的研究能力。”美国南卫理公会大学的院长Marc Christensen评价。“这项研究我们帮助扩大设备的成像能力,使之并不局限在人类实现能观察到的范围。”Christensen说。

CSAIL还惊奇地发现,角落相机在雨天等恶劣天气下也不会受到明显影响。

“考虑到雨水会改变地面的颜色,我原本以为我们无法看到细微的光线变化,”Bouman感慨,“但因系统通过多张图像收集信息,雨滴作用于每一张图像上,因此我们仍然能从中看到物体的运动。”

助力自动驾驶

这个系统也有一些明显缺陷:如果场景中没有光线,则系统就无效;如果隐藏的场景本身光线暗,系统的识别也会有问题;如果光线条件发生变化,它也会受影响,比如在户外云不断地穿过太阳。此外,智能手机的相机像素也影响收集的图像质量,相机里障碍物越远,系统收集的图像质量也越差。

研究人员正计划通过未来的研究解决这些问题,他们下一个目标是测试系统是否能在移动的平台上运行。研究人员想让它成为未来汽车碰撞回避系统的一部分,这将是一个必要的功能。

MIT计算机视觉研究员、论文合著者Vickie Ye希望通过与CSAIL机器人技术研究生Felix Nase的合作,测试系统的稳定性。目前,研究人员即将测试系统在轮椅上的性能,这也是在无人驾驶汽车上尝试的前奏。

“如果一个孩子突然冲到街上,司机可能无法及时做出反应,”Bouman说。“虽然我们还没有达到这个目标,但这样的技术总有一天会为驾驶员多争取几秒钟的反应时间。”

这项工作得到了美国国防部高级研究计划局(DARPA)、国家科学基金会、壳牌研究和国防科学与工程研究生奖学金的支持,相关论文将于本月晚些时候在威尼斯召开的国际计算机视觉会议上发表。

二娃的本事,什么时候被这个AI系统学到了 。

本文作者:安妮 
原文发布时间:2017-10-10
相关文章
|
4天前
|
人工智能 自然语言处理 算法
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-07(下)
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-07(下)
10 2
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-07(下)
|
4天前
|
机器学习/深度学习 人工智能 算法
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-05(下)
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-05(下)
8 1
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-05(下)
|
2天前
|
人工智能 运维 自然语言处理
通义灵码:体验AI编程新技能-@workspace 和 @terminal为你的编程插上一双翅膀
本文介绍了通义灵码个人版中的@workspace和@terminal功能,帮助运维工程师快速理解项目结构、实现需求和执行指令。@workspace通过RAG技术深度感知代码库,支持快速上手新项目和协助实现新需求;@terminal则提供智能指令生成和解释,提升开发效率。
25 5
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-19
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-19
22 2
|
4天前
|
存储 人工智能 算法
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-13(上)
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-13(上)
17 2
|
4天前
|
传感器 自然语言处理 安全
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-07(上)
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-07(上)
19 2
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-16
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-16
9 1
|
4天前
|
机器学习/深度学习 人工智能 算法
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-15
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-15
18 1
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-14
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-14
14 1
|
4天前
|
机器学习/深度学习 数据采集 算法
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-11
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-11
12 1