颠覆自动驾驶的AI相机来了!光速执行深度学习

简介:

如今,自动驾驶汽车和无人驾驶飞机背后的图像识别技术依赖于人工智能:计算机本质上学会了自己识别物体,比如识别狗、过马路的行人或停车的汽车。主要问题是,目前运行人工智能算法的计算机对于手持医疗设备等未来应用来说显得过于庞大和缓慢。

现在,斯坦福大学的研究人员已经设计出一种新型的AI相机系统,它可以更快、更高效地对图像进行分类,有朝一日,这种系统可以小到足以嵌入设备本身,这在今天是不可能实现的。这项研究发表在8月17日的Nature Scientific Reports上。

“自动驾驶汽车的后备箱里有一台体积相对较大、速度相对较慢、能耗较高的电脑。”该研究负责人、斯坦福大学电气工程助理教授Gordon Wetzstein表示,未来的应用程序将需要更快、更小的设备来处理图像流。

AI相机:双层光电混合计算机

现在,Wetzstein和论文第一作者、研究生Julie Chang朝着这一技术迈出了一步,他们将两种类型的计算机结合在一起,创造了一种专为图像分析设计的光电混合计算机。

原型相机的第一层是一种光学计算机,它不需要数字计算的高功耗数学运算。第二层是传统的数字电子计算机。

光学计算机层通过物理预处理图像数据进行操作,以多种方式对其进行过滤,否则电子计算机就必须用数学方法对其进行过滤。由于过滤是在光线穿过自定义光学时自然发生的,所以这一层的输入功率为零。这为混合系统节省了大量的本该用于计算的时间和能量。

“我们已经把人工智能的一些数学知识拓展到了光学领域。”Chang说。

这样做的结果是更少的计算、更少的内存调用和更少的时间来完成这个过程。在跳过了这些预处理步骤之后,剩下的分析将以相当大的优势进入数字计算机层。“数百万次计算都是在光速下进行的。”

成像精度和速度堪比电子计算机处理器

在速度和精度方面,这款原型机与现有的电子计算机处理器相媲美。

虽然他们目前的原型机还处在实验台上,不会被归类为小型设备,但研究人员说,他们的系统有一天会被小型化,以适合手持摄像机或无人机。

在模拟和真实世界的实验中,研究小组使用该系统成功地识别了飞机、汽车、猫、狗等自然图像。

Wetzstein说:“我们系统的某些未来版本在自动驾驶汽车等快速决策应用中尤其有用。”

除了缩小原型尺寸之外,Wetzstein, Chang和他们在斯坦福计算机成像实验室的同事们现在正在寻找方法使光学元件做更多的预处理。最终,他们要用更小、更快的技术将取代现在在自动驾驶汽车、无人机和其他识别周围世界的设备上使用的计算机。

相关原理及论文

卷积神经网络(CNN)在各种计算机视觉应用中表现出色,但其高性能也伴随着高昂的计算成本。尽管人们可以通过算法和专用硬件来提高效率,但由于能源预算紧张,在嵌入式系统中部署卷积神经网络仍然很困难。

我们在本文中探索一种互补策略,在电子计算之前加上一层光学计算,以提高图像分类任务的性能,同时增加最小的电子计算成本或处理时间。我们提出了一种基于优化衍射光学元件的光学卷积层设计,并在两个模拟测试中验证了我们的设计:经过训练的光学相关器,以及光电双层卷积神经网络。我们在仿真模型和光学原型中证明,我们的光学系统的分类精度可以与类似的电子计算方案相媲美,同时大大节省了计算成本。


原文发布时间为:2018-08-21

本文作者:Andrew Myers

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:颠覆自动驾驶的AI相机来了!光速执行深度学习

相关文章
|
3月前
|
机器学习/深度学习 算法 定位技术
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现裂缝的检测识别(C#代码UI界面版)
本项目基于YOLOv8模型与C#界面,结合Baumer工业相机,实现裂缝的高效检测识别。支持图像、视频及摄像头输入,具备高精度与实时性,适用于桥梁、路面、隧道等多种工业场景。
319 27
|
5月前
|
人工智能 数据挖掘 大数据
“龟速”到“光速”?算力如何加速 AI 应用进入“快车道”
阿里云将联合英特尔、蚂蚁数字科技专家,带来“云端进化论”特别直播。
167 11
|
5月前
|
机器学习/深度学习 人工智能 供应链
从概念到商业价值:AI、机器学习与深度学习全景指南
在这个科技飞速发展的时代🚀,人工智能正以惊人的速度渗透到我们的生活和工作中👀。但面对铺天盖地的AI术语和概念,很多人感到困惑不已😣。"AI"、"机器学习"、"深度学习"和"神经网络"到底有什么区别?它们如何相互关联?如何利用这些技术提升工作效率和创造价值?
|
3月前
|
机器学习/深度学习 人工智能 PyTorch
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
本文以 MNIST 手写数字识别为切入点,介绍了深度学习的基本原理与实现流程,帮助读者建立起对神经网络建模过程的系统性理解。
335 15
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
AI 基础知识从 0.3 到 0.4——如何选对深度学习模型?
本系列文章从机器学习基础出发,逐步深入至深度学习与Transformer模型,探讨AI关键技术原理及应用。内容涵盖模型架构解析、典型模型对比、预训练与微调策略,并结合Hugging Face平台进行实战演示,适合初学者与开发者系统学习AI核心知识。
292 15
|
3月前
|
机器学习/深度学习 算法 自动驾驶
深度学习与图像处理 | 基于传统图像处理的自动驾驶车道线检测
本节介绍了基于OpenCV的传统图像处理算法在车道线检测中的应用,重点讲解了如何通过HSV颜色空间提取黄色和白色车道线、使用高斯模糊降噪、Canny算子提取边缘、感兴趣区域裁剪以及霍夫变换检测线段。最终通过对检测到的线段进行聚类与平均,得到代表左右车道线的直线,并实现车道线的可视化显示。该方法为自动驾驶小车提供了转向控制依据。
226 2
|
5月前
|
传感器 人工智能 自动驾驶
生成式AI应用于自动驾驶:前沿与机遇
近期发表的一篇综述性论文总结了生成式AI在自动驾驶领域的应用进展,并探讨了自动驾驶与机器人、无人机等其它智能系统在生成式AI技术上的交叉融合趋势
187 10
|
6月前
|
机器学习/深度学习 人工智能 运维
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
173 8
|
6月前
|
人工智能 小程序 API
【一步步开发AI运动APP】四、使用相机组件抽帧
本文介绍了如何使用`ai-camera`组件开发AI运动APP,助力开发者深耕AI运动领域。`ai-camera`是专为AI运动场景设计的相机组件,支持多平台,提供更强的抽帧处理能力和API。文章详细讲解了获取相机上下文、执行抽帧操作以及将帧保存到相册的功能实现,并附有代码示例。无论是AI运动APP还是其他场景,该组件都能满足预览、拍照、抽帧等需求。下篇将聚焦人体识别检测,敬请期待!
|
6月前
|
人工智能 文字识别 自动驾驶
突破自动驾驶"交规困境":高德&西交发布交规+高精地图基准MapDR,车道级交通规则在线理解,让AI更懂交规!
作为专业领先的出行和位置服务提供商,高德地图以数据准确率高、鲜度高著称。当前自动驾驶技术总是关注到矢量地图的构建,往往忽略了车道级驾驶规则的制作。对应图商而言,车道级的领航不仅需要有正确的车道级矢量表达,还要明确每条路的驾驶规则,保证引导的准确率。
202 2

热门文章

最新文章