用AI算法分析光影看到盲点:这项MIT新研究偷学到二娃技能

简介:
本文来自AI新媒体量子位(QbitAI)

嗨少年,想不想来双透视眼?

虽然这听起来有些科幻,但近日,麻省理工学院(MIT)计算机科学和人工智能实验室(CSAIL)的研究人员发明了一种新算法,让你能够看到障碍物背后的物体。

这个AI系统可以借助智能手机的摄像头,收集光反射的相关信息,检测隐藏在障碍物后的任何物体,还能实时测量它们的移动速度和行进轨迹。

 原理讲解官方视频

半影与“角落相机”

换个画面感的解释吧:想象一下,你走在一条“L”形的走廊上,拐角的另一边放置了一堆杂物。这些杂物投射在你视线内地面上的少量光线,形成一个模糊的阴影,我们称之为“半影”(penumbra)。

 发光体(非点光源)发出光线部分被非透明物体阻挡后,在屏幕(或其他物体)上所投射出来的,本影周围较暗的区域 | 图片来自维基百科

AI系统就利用了智能手机摄像头中半影的视频,将一系列一维图像组合在一起,揭示周围物体的信息。研究人员将这个“透视眼”系统称为“角落相机”(ConerCameras)。

 角落相机能将人眼难以发现的半影区清晰识别出来

“即使这些物体对相机来说不可见,但我们可以通过物体运动产生的半影判断物体的位置和移动情况,”该研究论文的第一作者Katherine Bouman表示,“用这种方法,隐藏在有边缘的墙或其他障碍物后的物体也可见了。”

优于激光

根据研究前辈的经验,大多数观察障碍物的方法都需要用到特殊的激光。具体来说,研究人员在可见光和隐藏的场景中都能看到特定点的摄像头,之后测量光返回的时间。

然而,这种基于时间飞行原理(time-of-flight,TOF)的相机造价高昂,受环境光线的影响很大,尤其在户外环境下,TOF相机就不那么好用了。

与之相反的是,CSAIL团队的这项技术无需积极地在空间中投影,无论室内还是室外的使用效果都很好。最重要的是,所需设备很常见,只需要一个基于网络的摄像头或者智能手机,以及一台运行算法的笔记本电脑。

通过在相机中观察半影,角落相机生成一维隐藏场景图像。单独的一张图像包含很多“噪声”数据,因此用处不大。但是通过几秒钟的观察场景,将收集到的图像“缝合”到一起,系统就能确定不同物体的移动速度和轨迹了。

“这个概念本身就非常创新,想让它在实际生活中发挥作用既需要创新性,又考验研究人员的研究能力。”美国南卫理公会大学的院长Marc Christensen评价。“这项研究我们帮助扩大设备的成像能力,使之并不局限在人类实现能观察到的范围。”Christensen说。

CSAIL还惊奇地发现,角落相机在雨天等恶劣天气下也不会受到明显影响。

“考虑到雨水会改变地面的颜色,我原本以为我们无法看到细微的光线变化,”Bouman感慨,“但因系统通过多张图像收集信息,雨滴作用于每一张图像上,因此我们仍然能从中看到物体的运动。”

助力自动驾驶

这个系统也有一些明显缺陷:如果场景中没有光线,则系统就无效;如果隐藏的场景本身光线暗,系统的识别也会有问题;如果光线条件发生变化,它也会受影响,比如在户外云不断地穿过太阳。此外,智能手机的相机像素也影响收集的图像质量,相机里障碍物越远,系统收集的图像质量也越差。

研究人员正计划通过未来的研究解决这些问题,他们下一个目标是测试系统是否能在移动的平台上运行。研究人员想让它成为未来汽车碰撞回避系统的一部分,这将是一个必要的功能。

MIT计算机视觉研究员、论文合著者Vickie Ye希望通过与CSAIL机器人技术研究生Felix Nase的合作,测试系统的稳定性。目前,研究人员即将测试系统在轮椅上的性能,这也是在无人驾驶汽车上尝试的前奏。

“如果一个孩子突然冲到街上,司机可能无法及时做出反应,”Bouman说。“虽然我们还没有达到这个目标,但这样的技术总有一天会为驾驶员多争取几秒钟的反应时间。”

这项工作得到了美国国防部高级研究计划局(DARPA)、国家科学基金会、壳牌研究和国防科学与工程研究生奖学金的支持,相关论文将于本月晚些时候在威尼斯召开的国际计算机视觉会议上发表。

二娃的本事,什么时候被这个AI系统学到了 。

本文作者:安妮 
原文发布时间:2017-10-10
相关文章
|
29天前
|
传感器 人工智能 监控
智慧工地 AI 算法方案
智慧工地AI算法方案通过集成多种AI算法,实现对工地现场的全方位安全监控、精准质量检测和智能进度管理。该方案涵盖平台层、展现层与应用层、基础层,利用AI技术提升工地管理的效率和安全性,减少人工巡检成本,提高施工质量和进度管理的准确性。方案具备算法精准高效、系统集成度高、可扩展性强和成本效益显著等优势,适用于人员安全管理、施工质量监控和施工进度管理等多个场景。
|
1月前
|
传感器 人工智能 监控
智慧电厂AI算法方案
智慧电厂AI算法方案通过深度学习和机器学习技术,实现设备故障预测、发电运行优化、安全监控和环保管理。方案涵盖平台层、展现层、应用层和基础层,具备精准诊断、智能优化、全方位监控等优势,助力电厂提升效率、降低成本、保障安全和环保合规。
智慧电厂AI算法方案
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
AI自己长出了类似大脑的脑叶?新研究揭示LLM特征的惊人几何结构
近年来,大型语言模型(LLM)的内部运作机制备受关注。麻省理工学院的研究人员在论文《The Geometry of Concepts: Sparse Autoencoder Feature Structure》中,利用稀疏自编码器(SAE)分析LLM的激活空间,揭示了其丰富的几何结构。研究发现,特征在原子、大脑和星系三个尺度上展现出不同的结构,包括晶体结构、中尺度模块化结构和大尺度点云结构。这些发现不仅有助于理解LLM的工作原理,还可能对模型优化和其他领域产生重要影响。
46 25
|
14天前
|
机器学习/深度学习 缓存 人工智能
【AI系统】QNNPack 算法
QNNPACK是Marat Dukhan开发的量化神经网络计算加速库,专为移动端优化,性能卓越。本文介绍QNNPACK的实现,包括间接卷积算法、内存重排和间接缓冲区等关键技术,有效解决了传统Im2Col+GEMM方法存在的空间消耗大、缓存效率低等问题,显著提升了量化神经网络的计算效率。
32 6
【AI系统】QNNPack 算法
|
14天前
|
存储 人工智能 缓存
【AI系统】Im2Col 算法
Caffe 作为早期的 AI 框架,采用 Im2Col 方法优化卷积计算。Im2Col 将卷积操作转换为矩阵乘法,通过将输入数据重排为连续内存中的矩阵,减少内存访问次数,提高计算效率。该方法首先将输入图像转换为矩阵,然后利用 GEMM 库加速计算,最后将结果转换回原格式。这种方式显著提升了卷积计算的速度,尤其适用于通道数较多的卷积层。
36 5
【AI系统】Im2Col 算法
|
14天前
|
存储 机器学习/深度学习 人工智能
【AI系统】Winograd 算法
本文详细介绍Winograd优化算法,该算法通过增加加法操作来减少乘法操作,从而加速卷积计算。文章首先回顾Im2Col技术和空间组合优化,然后深入讲解Winograd算法原理及其在一维和二维卷积中的应用,最后讨论算法的局限性和实现步骤。Winograd算法在特定卷积参数下表现优异,但其应用范围受限。
29 2
【AI系统】Winograd 算法
|
1天前
|
机器学习/深度学习 人工智能 安全
并非只有AI-2025年工作技能报告
全球最大的在线学习平台Coursera发布《2025年工作技能报告》,报告基于500万企业学习者和7,000多家机构的数据分析,揭示了2025年全球劳动力所需的关键技能趋势。报告强调,随着GenAI的快速发展,相关技能的课程注册量同比增长了866%,显示出对AI能力的需求激增。
20 9
|
2天前
|
人工智能 算法
AI+脱口秀,笑点能靠算法创造吗
脱口秀是一种通过幽默诙谐的语言、夸张的表情与动作引发观众笑声的表演艺术。每位演员独具风格,内容涵盖个人情感、家庭琐事及社会热点。尽管我尝试用AI生成脱口秀段子,但AI缺乏真实的情感共鸣和即兴创作能力,生成的内容显得不够自然生动,难以触及人心深处的笑点。例如,AI生成的段子虽然流畅,却少了那份不期而遇的惊喜和激情,无法真正打动观众。 简介:脱口秀是通过幽默语言和夸张表演引发笑声的艺术形式,AI生成的段子虽流畅但缺乏情感共鸣和即兴创作力,难以达到真人表演的效果。
|
10天前
|
人工智能 数据挖掘
AI长脑子了?LLM惊现人类脑叶结构并有数学代码分区,MIT大牛新作震惊学界!
麻省理工学院的一项新研究揭示了大型语言模型(LLM)内部概念空间的几何结构,与人脑类似。研究通过分析稀疏自编码器生成的高维向量,发现了概念空间在原子、大脑和星系三个层次上的独特结构,为理解LLM的内部机制提供了新视角。论文地址:https://arxiv.org/abs/2410.19750
51 12
|
1月前
|
机器学习/深度学习 传感器 人工智能
智慧无人机AI算法方案
智慧无人机AI算法方案通过集成先进的AI技术和多传感器融合,实现了无人机的自主飞行、智能避障、高效数据处理及多机协同作业,显著提升了无人机在复杂环境下的作业能力和安全性。该方案广泛应用于航拍测绘、巡检监测、应急救援和物流配送等领域,能够有效降低人工成本,提高任务执行效率和数据处理速度。
智慧无人机AI算法方案
下一篇
DataWorks