颠覆自动驾驶的AI相机来了!光速执行深度学习

简介:

如今,自动驾驶汽车和无人驾驶飞机背后的图像识别技术依赖于人工智能:计算机本质上学会了自己识别物体,比如识别狗、过马路的行人或停车的汽车。主要问题是,目前运行人工智能算法的计算机对于手持医疗设备等未来应用来说显得过于庞大和缓慢。

现在,斯坦福大学的研究人员已经设计出一种新型的AI相机系统,它可以更快、更高效地对图像进行分类,有朝一日,这种系统可以小到足以嵌入设备本身,这在今天是不可能实现的。这项研究发表在8月17日的Nature Scientific Reports上。

“自动驾驶汽车的后备箱里有一台体积相对较大、速度相对较慢、能耗较高的电脑。”该研究负责人、斯坦福大学电气工程助理教授Gordon Wetzstein表示,未来的应用程序将需要更快、更小的设备来处理图像流。

AI相机:双层光电混合计算机

现在,Wetzstein和论文第一作者、研究生Julie Chang朝着这一技术迈出了一步,他们将两种类型的计算机结合在一起,创造了一种专为图像分析设计的光电混合计算机。

原型相机的第一层是一种光学计算机,它不需要数字计算的高功耗数学运算。第二层是传统的数字电子计算机。

光学计算机层通过物理预处理图像数据进行操作,以多种方式对其进行过滤,否则电子计算机就必须用数学方法对其进行过滤。由于过滤是在光线穿过自定义光学时自然发生的,所以这一层的输入功率为零。这为混合系统节省了大量的本该用于计算的时间和能量。

“我们已经把人工智能的一些数学知识拓展到了光学领域。”Chang说。

这样做的结果是更少的计算、更少的内存调用和更少的时间来完成这个过程。在跳过了这些预处理步骤之后,剩下的分析将以相当大的优势进入数字计算机层。“数百万次计算都是在光速下进行的。”

成像精度和速度堪比电子计算机处理器

在速度和精度方面,这款原型机与现有的电子计算机处理器相媲美。

虽然他们目前的原型机还处在实验台上,不会被归类为小型设备,但研究人员说,他们的系统有一天会被小型化,以适合手持摄像机或无人机。

在模拟和真实世界的实验中,研究小组使用该系统成功地识别了飞机、汽车、猫、狗等自然图像。

Wetzstein说:“我们系统的某些未来版本在自动驾驶汽车等快速决策应用中尤其有用。”

除了缩小原型尺寸之外,Wetzstein, Chang和他们在斯坦福计算机成像实验室的同事们现在正在寻找方法使光学元件做更多的预处理。最终,他们要用更小、更快的技术将取代现在在自动驾驶汽车、无人机和其他识别周围世界的设备上使用的计算机。

相关原理及论文

卷积神经网络(CNN)在各种计算机视觉应用中表现出色,但其高性能也伴随着高昂的计算成本。尽管人们可以通过算法和专用硬件来提高效率,但由于能源预算紧张,在嵌入式系统中部署卷积神经网络仍然很困难。

我们在本文中探索一种互补策略,在电子计算之前加上一层光学计算,以提高图像分类任务的性能,同时增加最小的电子计算成本或处理时间。我们提出了一种基于优化衍射光学元件的光学卷积层设计,并在两个模拟测试中验证了我们的设计:经过训练的光学相关器,以及光电双层卷积神经网络。我们在仿真模型和光学原型中证明,我们的光学系统的分类精度可以与类似的电子计算方案相媲美,同时大大节省了计算成本。


原文发布时间为:2018-08-21

本文作者:Andrew Myers

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:颠覆自动驾驶的AI相机来了!光速执行深度学习

相关文章
|
25天前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
65 3
|
28天前
|
机器学习/深度学习 数据采集 人工智能
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】随着人工智能的发展,深度学习技术正逐步应用于教育领域,特别是个性化学习系统中。通过分析学生的学习数据,深度学习模型能够精准预测学生的学习表现,并为其推荐合适的学习资源和规划学习路径,从而提供更加高效、有趣和个性化的学习体验。
84 9
|
10天前
|
机器学习/深度学习 传感器 自动驾驶
基于深度学习的图像识别技术在自动驾驶汽车中的应用####
【10月更文挑战第21天】 本文探讨了深度学习中的卷积神经网络(CNN)如何革新自动驾驶车辆的视觉感知能力,特别是在复杂多变的道路环境中实现高效准确的物体检测与分类。通过分析CNN架构设计、数据增强策略及实时处理优化等关键技术点,揭示了该技术在提升自动驾驶系统环境理解能力方面的潜力与挑战。 ####
32 0
|
16天前
|
机器学习/深度学习 传感器 自动驾驶
深度学习在自动驾驶中的应用与挑战####
本文探讨了深度学习技术在自动驾驶领域的应用现状、面临的主要挑战及未来发展趋势。通过分析卷积神经网络(CNN)和循环神经网络(RNN)等关键算法在环境感知、决策规划中的作用,结合特斯拉Autopilot和Waymo的实际案例,揭示了深度学习如何推动自动驾驶技术向更高层次发展。文章还讨论了数据质量、模型泛化能力、安全性及伦理道德等问题,为行业研究者和开发者提供了宝贵的参考。 ####
|
22天前
|
传感器 机器学习/深度学习 人工智能
自动驾驶汽车中的AI:从概念到现实
【10月更文挑战第31天】自动驾驶汽车曾是科幻概念,如今正逐步成为现实。本文探讨了自动驾驶汽车的发展历程,从早期的机械控制到现代的AI技术应用,包括传感器融合、计算机视觉、路径规划和决策控制等方面。尽管面临安全性和法规挑战,自动驾驶汽车在商用运输、公共交通和乘用车领域展现出巨大潜力,未来将为人类带来更安全、便捷、环保的出行方式。
|
27天前
|
机器学习/深度学习 人工智能 算法
AI在医疗:深度学习在医学影像诊断中的最新进展
【10月更文挑战第27天】本文探讨了深度学习技术在医学影像诊断中的最新进展,特别是在卷积神经网络(CNN)的应用。文章介绍了深度学习在识别肿瘤、病变等方面的优势,并提供了一个简单的Python代码示例,展示如何准备医学影像数据集。同时强调了数据隐私和伦理的重要性,展望了AI在医疗领域的未来前景。
57 2
|
2月前
|
机器学习/深度学习 人工智能 自动驾驶
2024.10|AI/大模型在机器人/自动驾驶/智能驾舱领域的最新应用和深度洞察
本文介绍了AI和大模型在机器人、自动驾驶和智能座舱领域的最新应用和技术进展。涵盖多模态大语言模型在机器人控制中的应用、移动机器人(AMRs)的规模化部署、协作机器人的智能与安全性提升、AR/VR技术在机器人培训中的应用、数字孪生技术的优化作用、Rust语言在机器人编程中的崛起,以及大模型在自动驾驶中的核心地位、端到端自动驾驶解决方案、全球自动驾驶的前沿进展、智能座舱的核心技术演变和未来发展趋势。
61 2
|
2月前
|
机器学习/深度学习 自动驾驶 算法
深度学习中的图像识别技术及其在自动驾驶中的应用
【10月更文挑战第4天】本文深入探讨了深度学习在图像识别领域的应用,并特别关注其在自动驾驶系统中的关键作用。文章首先介绍了深度学习的基本概念和工作原理,随后通过一个代码示例展示了如何利用深度学习进行图像分类。接着,文章详细讨论了图像识别技术在自动驾驶中的具体应用,包括物体检测、场景理解和决策制定等方面。最后,文章分析了当前自动驾驶技术面临的挑战和未来的发展趋势。
47 4
|
2月前
|
机器学习/深度学习 传感器 自动驾驶
深度学习在自动驾驶技术中的革新与挑战
【10月更文挑战第4天】深度学习在自动驾驶技术中的革新与挑战
70 4
|
28天前
|
安全 搜索推荐 机器学习/深度学习
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】在人工智能的推动下,个性化学习系统逐渐成为教育领域的重要趋势。深度学习作为AI的核心技术,在构建个性化学习系统中发挥关键作用。本文探讨了深度学习在个性化推荐系统、智能辅导系统和学习行为分析中的应用,并提供了代码示例,展示了如何使用Keras构建模型预测学生对课程的兴趣。尽管面临数据隐私和模型可解释性等挑战,深度学习仍有望为教育带来更个性化和高效的学习体验。
72 0