深度学习设计的衍射处理器并行计算数百个变换

简介: 深度学习设计的衍射处理器并行计算数百个变换


编辑 | 绿萝在当今的数字时代,计算任务变得越来越复杂。反过来,这导致数字计算机消耗的功率呈指数增长。因此,有必要开发能够以快速和节能的方式执行大规模计算的硬件资源。使用光学计算执行线性变换在速度、并行性和可扩展性方面具有潜在优势。到目前为止,研究人员已经成功设计了单色(单波长照明)衍射网络,用于实现单一线性变换(矩阵乘法)操作。但是有没有可能同时实现更多的线性变换呢?近日,来自加州大学洛杉矶分校(UCLA)的研究小组解决了这个问题。他们在衍射光网络中采用了波长复用方案,并展示了使用宽带衍射处理器执行大规模并行线性变换操作的可行性。从而大大提高了全光计算的吞吐量。大规模并行、波长复用衍射网络将有助于设计高吞吐量智能机器视觉系统和高光谱处理器,可以执行统计推断并分析具有独特光谱特性的物体/场景。该研究以「Massively parallel universal linear transformations using a wavelength-multiplexed diffractive optical network」为题,于 2023 年 1 月 9 日发布在《Advanced Photonics》上。

论文链接:https://doi.org/10.1117/1.AP.5.1.016003

计算在构建智能数字社会中发挥着越来越重要的作用。数字计算机功耗呈指数级增长,给大规模计算带来了一些重要挑战。光学计算可以在功率效率、处理速度和并行性方面提供潜在优势。光学和机器学习之间的协同作用使得能够使用基于深度学习的优化来设计新型光学组件,同时还允许开发用于人工智能的高级光学/光子信息处理平台。在不同的光学计算设计中,衍射光学神经网络代表了一种基于自由空间的框架,可用于执行光学元件的计算、统计推断和逆向设计。衍射神经网络已被用于执行各种光学信息处理任务。采用连续的空间工程衍射表面作为确定性光学元件逆向设计的主干,也使许多应用成为可能。衍射网络还用作通用计算模块,可用于创建紧凑、节能的全光处理器。在此,研究人员将严格解决和分析以下问题。让我们想象一个光学黑匣子(由衍射表面和/或可重构空间光调制器组成):如何设计该黑匣子以同时实现,例如,Nw > 1000 个独立的线性变换对应于 >1000 个不同的矩阵乘法( 具有 >1000 个不同的独立矩阵)在 Nw > 1000 个不同的独特波长?该研究的通讯作者,加州大学洛杉矶分校 Chancellor 教授 Aydogan Ozcan,简要描述了这种光学处理器的架构和原理:「宽带衍射光学处理器分别具有 Ni 和 No 像素的输入和输出视场。它们由连续的结构化衍射层连接,由无源透射材料制成。一组预定的 Nw 离散波长对输入和输出信息进行编码。每个波长专用于一个独特的目标函数或复值线性变换,」他解释道。「这些目标转换可以专门分配给不同的函数,例如图像分类和分割,或者它们可以专门用于计算不同的卷积滤波器操作或神经网络中的完全连接层。所有这些线性变换或所需函数都以光速同时执行,其中每个所需函数都被分配到唯一的波长。这使得宽带光处理器能够以极高的吞吐量和并行性进行计算。需要强调的是,这项工作的目标不是训练宽带衍射网络仅对少数输入-输出场对实施正确的线性变换。目标不是将衍射层用作一种可以输出不同波长的不同图像或光场的超材料。相反,其目标是将宽带衍射处理器的性能推广到无限多对输入和输出复场,以满足每个光谱通道的目标线性变换,从而实现多个复值矩阵向量乘法的通用全光计算, 由一组照明波长 (Nw >> 1) 访问。与以往的文献相比,本文具有多个独特之处:(1)这是空间工程衍射系统的首次展示,可实现光谱复用通用线性变换;(2)通过单波长复用衍射网络(例如,Nw > 180)报告的大规模复用水平明显高于其他复用通道,包括偏振分集,并且这个数字可以进一步增加到 Nw ≈ 2000 在网络设计中使用了更多的衍射神经元 (N);(3)基于深度学习的衍射层训练使用自适应光谱权重来均衡分配给 Nw 个不同波长的所有线性变换的性能;(4)使用波长复用执行多重线性变换的能力不需要将任何波长敏感的光学元件添加到衍射网络设计中,除了波长扫描或带解复用滤波器的宽带照明;(5)该波长复用衍射处理器可以使用具有不同色散特性的多种材料((包括色散曲线平坦的材料))来实现,并且广泛适用于电磁波谱的不同部分,包括可见波段。

图示:大规模并行、波长复用衍射光学计算示意图。(来源:论文)

研究人员证明,当其衍射特征总数 N 大于或等于 2NwNiNo 时,这种波长复用光学处理器设计可以近似 Nw 个独特的线性变换,误差可忽略不计。

图示:用于 ground truth(目标)变换的输入/输出复杂场的示例以及使用 𝑵 ≈ 2𝑵𝒘𝑵𝒊𝑵𝒐 = 16𝑵𝒊𝑵𝒐 = 64.8k(𝑵𝒊 = 𝑵𝒐 = 8^2)的 8 通道波长复用衍射设计产生的全光输出场的示例。(来源:论文)

该结论通过数值模拟针对 Nw > 180 次不同的转换得到证实,并且对具有不同色散特性的材料有效。此外,使用更大的 N (3NwNiNo) 将 Nw 进一步增加到大约 2000 个独特的转换,这些转换都是光学并行执行的。关于这种新计算设计的前景,Ozcan 说:「这种大规模并行、波长复用的衍射处理器将有助于设计高吞吐量智能机器视觉系统和高光谱处理器,并可能激发各个领域的众多应用,包括生物医学成像、 遥感、分析化学和材料科学。」参考内容:https://phys.org/news/2023-01-deep-learning-designed-diffractive-processor-hundreds.html

相关文章
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch深度学习基础之Tensor的变换、拼接、拆分讲解及实战(附源码 超详细必看)
PyTorch深度学习基础之Tensor的变换、拼接、拆分讲解及实战(附源码 超详细必看)
47 0
|
机器学习/深度学习
《深度学习论文实现:空间变换网络-第一部分》电子版地址
深度学习论文实现:空间变换网络-第一部分
72 0
《深度学习论文实现:空间变换网络-第一部分》电子版地址
|
机器学习/深度学习 传感器 芯片
深度学习再登Science:万物皆可做神经网络处理器,你甚至可以用锅碗瓢盆
想象一下,你周围的任何东西,比如一个煎锅、一个玻璃镇纸,都可以用来当成神经网络的中央处理器,那是什么感觉?
147 0
深度学习再登Science:万物皆可做神经网络处理器,你甚至可以用锅碗瓢盆
|
机器学习/深度学习
纯干货:深度学习实现之空间变换网络-part2
本文详细介绍了空间变换网络及其工作原理,最后将整个机制归结为两个熟悉的概念:仿射变换和双线性插值。
15187 0
|
机器学习/深度学习 人工智能 算法
对标谷歌TPU,比特大陆第一代深度学习专用处理器全球首发
人工智能时代,中国芯无论是技术还是市场都越来越精彩,继谷歌TPU之后,中国数字货币独角兽比特大陆,在今天的AI WORLD 2017世界人工智能大会上,正式宣布了他们的第一款张量加速计算专用芯片,采用改进型脉动阵列技术,适用于CNN / RNN / DNN的训练和推理。
3930 0
|
机器学习/深度学习 算法 Python
纯干货:深度学习实现之空间变换网络-part1
本文介绍了仿射变换和双线性插值在图片变换中的应用。
11595 0
|
4天前
|
机器学习/深度学习 存储 边缘计算
深度学习在图像识别中的应用与挑战
【4月更文挑战第23天】 随着人工智能技术的飞速发展,深度学习作为其重要分支之一,在图像识别领域取得了显著的成果。本文将探讨深度学习在图像识别中的应用,分析其优势和面临的挑战,并展望未来的发展趋势。
|
1天前
|
机器学习/深度学习 计算机视觉
深度学习在图像识别中的应用与挑战
【4月更文挑战第26天】 随着人工智能技术的飞速发展,深度学习已成为推动计算机视觉领域进步的核心动力。尤其是在图像识别任务中,深度神经网络凭借其卓越的特征提取和学习能力,不断刷新着分类、检测及分割等领域的准确率纪录。然而,尽管取得了显著成就,深度学习模型在实际应用中仍面临着数据偏差、计算资源消耗巨大和模型可解释性差等问题。本文将深入探讨深度学习在图像识别中的应用现状,分析其面临的主要挑战,并展望可能的解决方案。