深度学习设计的衍射处理器并行计算数百个变换

简介: 深度学习设计的衍射处理器并行计算数百个变换


编辑 | 绿萝在当今的数字时代,计算任务变得越来越复杂。反过来,这导致数字计算机消耗的功率呈指数增长。因此,有必要开发能够以快速和节能的方式执行大规模计算的硬件资源。使用光学计算执行线性变换在速度、并行性和可扩展性方面具有潜在优势。到目前为止,研究人员已经成功设计了单色(单波长照明)衍射网络,用于实现单一线性变换(矩阵乘法)操作。但是有没有可能同时实现更多的线性变换呢?近日,来自加州大学洛杉矶分校(UCLA)的研究小组解决了这个问题。他们在衍射光网络中采用了波长复用方案,并展示了使用宽带衍射处理器执行大规模并行线性变换操作的可行性。从而大大提高了全光计算的吞吐量。大规模并行、波长复用衍射网络将有助于设计高吞吐量智能机器视觉系统和高光谱处理器,可以执行统计推断并分析具有独特光谱特性的物体/场景。该研究以「Massively parallel universal linear transformations using a wavelength-multiplexed diffractive optical network」为题,于 2023 年 1 月 9 日发布在《Advanced Photonics》上。

论文链接:https://doi.org/10.1117/1.AP.5.1.016003

计算在构建智能数字社会中发挥着越来越重要的作用。数字计算机功耗呈指数级增长,给大规模计算带来了一些重要挑战。光学计算可以在功率效率、处理速度和并行性方面提供潜在优势。光学和机器学习之间的协同作用使得能够使用基于深度学习的优化来设计新型光学组件,同时还允许开发用于人工智能的高级光学/光子信息处理平台。在不同的光学计算设计中,衍射光学神经网络代表了一种基于自由空间的框架,可用于执行光学元件的计算、统计推断和逆向设计。衍射神经网络已被用于执行各种光学信息处理任务。采用连续的空间工程衍射表面作为确定性光学元件逆向设计的主干,也使许多应用成为可能。衍射网络还用作通用计算模块,可用于创建紧凑、节能的全光处理器。在此,研究人员将严格解决和分析以下问题。让我们想象一个光学黑匣子(由衍射表面和/或可重构空间光调制器组成):如何设计该黑匣子以同时实现,例如,Nw > 1000 个独立的线性变换对应于 >1000 个不同的矩阵乘法( 具有 >1000 个不同的独立矩阵)在 Nw > 1000 个不同的独特波长?该研究的通讯作者,加州大学洛杉矶分校 Chancellor 教授 Aydogan Ozcan,简要描述了这种光学处理器的架构和原理:「宽带衍射光学处理器分别具有 Ni 和 No 像素的输入和输出视场。它们由连续的结构化衍射层连接,由无源透射材料制成。一组预定的 Nw 离散波长对输入和输出信息进行编码。每个波长专用于一个独特的目标函数或复值线性变换,」他解释道。「这些目标转换可以专门分配给不同的函数,例如图像分类和分割,或者它们可以专门用于计算不同的卷积滤波器操作或神经网络中的完全连接层。所有这些线性变换或所需函数都以光速同时执行,其中每个所需函数都被分配到唯一的波长。这使得宽带光处理器能够以极高的吞吐量和并行性进行计算。需要强调的是,这项工作的目标不是训练宽带衍射网络仅对少数输入-输出场对实施正确的线性变换。目标不是将衍射层用作一种可以输出不同波长的不同图像或光场的超材料。相反,其目标是将宽带衍射处理器的性能推广到无限多对输入和输出复场,以满足每个光谱通道的目标线性变换,从而实现多个复值矩阵向量乘法的通用全光计算, 由一组照明波长 (Nw >> 1) 访问。与以往的文献相比,本文具有多个独特之处:(1)这是空间工程衍射系统的首次展示,可实现光谱复用通用线性变换;(2)通过单波长复用衍射网络(例如,Nw > 180)报告的大规模复用水平明显高于其他复用通道,包括偏振分集,并且这个数字可以进一步增加到 Nw ≈ 2000 在网络设计中使用了更多的衍射神经元 (N);(3)基于深度学习的衍射层训练使用自适应光谱权重来均衡分配给 Nw 个不同波长的所有线性变换的性能;(4)使用波长复用执行多重线性变换的能力不需要将任何波长敏感的光学元件添加到衍射网络设计中,除了波长扫描或带解复用滤波器的宽带照明;(5)该波长复用衍射处理器可以使用具有不同色散特性的多种材料((包括色散曲线平坦的材料))来实现,并且广泛适用于电磁波谱的不同部分,包括可见波段。

图示:大规模并行、波长复用衍射光学计算示意图。(来源:论文)

研究人员证明,当其衍射特征总数 N 大于或等于 2NwNiNo 时,这种波长复用光学处理器设计可以近似 Nw 个独特的线性变换,误差可忽略不计。

图示:用于 ground truth(目标)变换的输入/输出复杂场的示例以及使用 𝑵 ≈ 2𝑵𝒘𝑵𝒊𝑵𝒐 = 16𝑵𝒊𝑵𝒐 = 64.8k(𝑵𝒊 = 𝑵𝒐 = 8^2)的 8 通道波长复用衍射设计产生的全光输出场的示例。(来源:论文)

该结论通过数值模拟针对 Nw > 180 次不同的转换得到证实,并且对具有不同色散特性的材料有效。此外,使用更大的 N (3NwNiNo) 将 Nw 进一步增加到大约 2000 个独特的转换,这些转换都是光学并行执行的。关于这种新计算设计的前景,Ozcan 说:「这种大规模并行、波长复用的衍射处理器将有助于设计高吞吐量智能机器视觉系统和高光谱处理器,并可能激发各个领域的众多应用,包括生物医学成像、 遥感、分析化学和材料科学。」参考内容:https://phys.org/news/2023-01-deep-learning-designed-diffractive-processor-hundreds.html

相关文章
|
7月前
|
机器学习/深度学习
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
|
7月前
|
机器学习/深度学习
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
|
2月前
|
机器学习/深度学习 算法 编译器
Python程序到计算图一键转化,详解清华开源深度学习编译器MagPy
【10月更文挑战第26天】MagPy是一款由清华大学研发的开源深度学习编译器,可将Python程序一键转化为计算图,简化模型构建和优化过程。它支持多种深度学习框架,具备自动化、灵活性、优化性能好和易于扩展等特点,适用于模型构建、迁移、部署及教学研究。尽管MagPy具有诸多优势,但在算子支持、优化策略等方面仍面临挑战。
93 3
|
7月前
|
机器学习/深度学习 算法 数据可视化
【从零开始学习深度学习】46. 目标检测中锚框的概念、计算方法、样本锚框标注方式及如何选取预测边界框
【从零开始学习深度学习】46. 目标检测中锚框的概念、计算方法、样本锚框标注方式及如何选取预测边界框
|
3月前
|
机器学习/深度学习 分布式计算 安全
深度学习之安全多方计算
基于深度学习的安全多方计算(Secure Multi-Party Computation,简称MPC)是一种密码学技术,旨在让多个参与方在不暴露各自数据的前提下,协作完成一个计算任务。
102 0
|
5月前
|
机器学习/深度学习 并行计算 异构计算
面向高效能计算的深度学习框架优化策略
【8月更文第9天】随着深度学习在各个领域的广泛应用,对训练模型的速度和效率要求越来越高。为了满足这些需求,深度学习框架需要针对不同硬件平台进行优化。本文将探讨针对GPU、TPU等硬件平台的优化策略,重点关注数据传输效率、并行计算策略及内存管理等方面。
203 1
|
6月前
|
机器学习/深度学习 算法 Serverless
现代深度学习框架构建问题之链式法则在反向传播中的作用如何解决
现代深度学习框架构建问题之链式法则在反向传播中的作用如何解决
65 3
|
7月前
|
机器学习/深度学习 人工智能 算法框架/工具
【深度学习】OneFlow深度框架:数据流图与异步计算的科技革新
【深度学习】OneFlow深度框架:数据流图与异步计算的科技革新
89 2
|
7月前
|
机器学习/深度学习 并行计算 PyTorch
【从零开始学习深度学习】20. Pytorch中如何让参数与模型在GPU上进行计算
【从零开始学习深度学习】20. Pytorch中如何让参数与模型在GPU上进行计算
|
6月前
|
机器学习/深度学习 PyTorch TensorFlow
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。