本文首发自 HyperAI 超神经微信公众号~内容一览：近年来，为了突破传统光学研究的局限性，光学与物理学交叉领域的一个新兴技术超光学出现，并且展现出巨大的市场前景。在这门技术高速发展的过程中，人工智能凭借自身强大的能力，起到了重要的推动作用，那么二者究竟碰撞出了何种火花？本文将为各位读者呈现相关系列成果。
在我们生活的世界之中，光扮演了核心的角色。也正因为光的重要性和独特性，伽利略、牛顿、麦克斯韦、爱因斯坦等科学巨人都曾致力于光的研究，可以说，光学研究已经拥有悠久的历史。然而随着技术的发展、人类需求不断提升，光学研究中的一些局限性也渐渐凸显了出来。
传统光学成像在硬件功能、成像性能方面接近物理极限，在众多领域已无法满足应用需求。为了迎接这一挑战，近几年来，一个新兴多学科交叉领域「计算光学成像」应运而生，并于年初入选了阿里达摩院 2023 十大科技趋势。
据专家介绍，相比传统光学成像，计算光学成像是将数字化、信息化深度融合在光学设计里面，软硬件一体化，通过计算为光学成像注入了新的「生命」，其研究内容覆盖范围广，包括 FlatCAM、超光学技术等。对此，去年底彭博就曾发布一篇 Opinion 文章称，计算光学成像中的超光学 (Meta Optics) 技术有望在今年引起广泛关注，并在未来十年内产生变革。
那么，计算光学成像分支之一的超光学究竟是什么？其为何又能发展如此之快？深究原因，上文提到所谓的数字化、信息化融合的过程中自然少不了一个关键因素—— 人工智能（以下简称 AI）。
接下来本文将围绕论文《Artificial Intelligence in Meta-optics》，从 AI 与超光学的结合入手，详细介绍相关领域的最新研究成果，以期对科研人员有所启发。
超光学关键概念一览
在理想的经典光学中，光在两种介质中的传播，与介质中的光速和两种介质的光学特性有关，如光的折射和反射。超表面 (Meta-Material) 的出现，改变了这种光学行为。
具体来说，超表面包含一个纳米结构阵列，也被称为超原子，其中每一个都被视为二级点光源。当入射光线遇到这个界面时，纳米结构会改变入射光线的光学特性并重新辐射出新的电磁波。通过有效控制超表面的相位分布，入射光的波面可以被重建，并具有独特的属性和新的功能。
加工超光学是连接理论设计和实际应用的直接方式，目前针对不同的目的，如亚波长尺度、结构雕刻、大面积、高长宽比、高产量等，加工技术也已获得良好发展。
对此，研究人员介绍了光学超器件 (Meta-Device) 的加工技术，其中，最常用的加工方法是光刻、电子束光刻 (EBL)、聚焦离子束 (FIB) 光刻、纳米压印、激光直写和 3D 打印。通过这些先进的加工方法，超器件得以进一步应用。
为满足光学需求，现在已经有一些新型及特殊光学功能的超器件。超器件的巨大优势在于其新型特性、紧凑的尺寸、更轻的重量、高效率、更好的性能、宽带操作 (broadband operation)、更低的能耗、数据量的减少和 CMOS 的兼容性，可用于大规模生产。光学超器件在光束整形、异常偏转和反射、偏振调控和分析等技术方面得到了很好的发展。
借力 AI 大步狂奔
AI 与超光学的发展趋势 横轴表示年份，纵轴表示每年的出版物数量
从上图中可以看到，AI 和超光学两个领域发展趋势大致相同，都是从 2012 年左右进入快速增长时期。在本次研究中，研究人员具体分析了 AI 在超光学中的正问题及逆问题、基于超表面系统的数据分析以及智能可编程超器件 (meta-device) 等方面的应用。
代理建模 (Surrogate Modeling)
光学特性建模
AI 尤其是深度学习，为光学模拟提供了一个直接且高效的突破性捷径，近年来，用 AI 进行代理建模成绩斐然。在代理模型中，ANNs 常被用作超原子的光学反应的近似预测器。并且，在特定设计任务中，用于代理模型的 ANN 是最优解。
2019 年，麻省理工学院材料科学与工程系的博士后 Sensong An 与 Clayton Fowler 等提出了一个名为 Predicting NN 的深度神经网络，为全电介质超原子的振幅和相位响应建模，范围为 30-60 THz。
如下图 a 所示，Predicting NN 的输入是几何参数，而输出是真实或虚拟的投射系数。Sensong An 与 Clayton Fowler 等开发了两个 DNN，用于分别预测真实及虚拟部分。要求的振幅和相位响应是利用投射系数进一步计算的。这种间接操作是因为典型的超原子振幅和相位响应在共振频率附近突然发生变化。
(a) 圆柱形超原子的振幅及相位预测
(b) 自由曲面全绝缘超原子振幅及相位预测
(c) alternate-material-shell 纳米粒子的散射截面预测
(d) 16 面多边形超原子的衍射效率预测
(e) 通过 DNN 对自由曲面超原子进行吸收光谱预测
(f) 通过 CNN 和 RNN 对自由曲面超原子进行吸收光谱预测
由于尖锐非线性的硬回归，ANNs 的预测性能在共振处会大大降低，因此，作者创新性地使用了散射系数的不同连续真实及虚拟部分作为预测目标。在毫秒级的速度下，圆柱形和「H」形超原子的预测准确率达到 99% 以上，比传统模拟快 600 倍。
2020 年，Sensong An 与 Clayton Fowler 等提出了一种新方法，用 CNN 来表征同一工作波段中超原子的振幅和相位。不同的是，建模对象是具有不同材料特性的自由曲面结构 (freeform structure)，而非简易结构 (simple structure)，如上图 b 所示。
设计的自由曲面包括 2D pattern image、晶格大小、结构的厚度和材料的折射率。CNN 的头部被分为两个输入分支。一个处理 2D pattern image，另一个处理不同属性的索引。通过下采样和上采样程序，这两个分支被重新组合成匹配维度的特征图。输出仍然采用散射系数的真实和虚拟部分的格式。
与以前的工作相比，这种方法使用了更多的训练数据，为自由曲面设计提供了更多效能。此外，在相同的硬件条件下，预测速度比传统模拟快 9000 倍，这也大大超过了以前的工作。
性能评估
为了评估代理模型的有效性，其准确性常与解决麦克斯韦方程的传统模拟工具进行比较。通常来讲，大多数代理模型在各种光学特性方面都表现出高保真度。除了合格的准确性，代理模型比传统的模拟要快几个数量级。
(a) 自由曲面结构的吸收光谱
(b) 「H」形超原子的振幅和相位响应
(c) TE 和 TM 模式下纳米棒的前向和后向散射，以及内部电场分布图（顶部）
(d) 反射光谱和相应的 CD 光谱
(e) 用实际加工设计的测量来验证透射光谱
(f) 数字模拟和基于深度学习的代理模型之间的计算时间比较
为了总结用 ANNs 进行代理建模，下表列出了值得关注的信息，以便直接比较和理解。从质子到电介质超原子，表中所列的材料涵盖了常见的金属和电介质。表中选定的参考文献有不同的建模响应，证明目前的代理模型可以从超原子的结构几何中学习到几乎所有常见的光学特性。
不过，作为一种近似的麦克斯韦方程求解器，代理模型也存在 3 个缺点：
- 代理模型的性能受限于训练数据的构建，每个模型只能在特定条件（如透射率、反射率、偏振率等）、特定工作波长下运行。
- 一些代理模型的性能在共振频率下会有所下降。
- 生成训练数据的过程是一项劳动密集型的繁琐任务。
尽管如此，基于 ANNs 的代理模型也要比传统的模拟工具也要快很多个数量级，而且除了速度快之外，代理模型还有另一个优点。在超光学的反求设计中，需要一个实时的模拟响应。与目前的商业软件相比，基于 ANNs 的代理模型可以很容易地集成到反求设计方案中，并具有更多的设计自由度。
反求设计
基于梯度的神经网络
根据采用的模型类型，深度学习辅助的反求设计可以分为两部分：
- 基于判别模型
- 基于生成模型
基于判别模型的反求设计方法可以进一步划分为两类，第一类是把设计参数放在输入位置，而作为输出的目标响应，会通过反向传播影响设计参数。这类设计方案很简单，但作为一种迭代优化方法很耗时。第二类更直接，因此是主流方法，即给定期望值，NN 输出预测值。
(a) S 参数的目标光学特性和吸收率
(b) 建议的设计方案 workflow
(c) 研究中模型的 3D 图形，可用矩阵表示
基于 NN 的反求设计对光学知识的要求较低。ANNs 所提供的只是系统的近似解，与目标要求不完全相同。大多数方法在按需设计时表现出 70%+ 的准确率，速度相当快。传统试错模式的反求设计很耗时，而且不能保证解的准确性。尽管存在差异，但拟解总比无解要好。
无梯度进化计算
进化计算是 AI 的一个重要分支，是一个元启发式算法族，包括基因演算法、进化演算法、蚁群算法和粒子群算法。其模仿了生物进化的过程，通过计算机程序的迭代过程来模拟种族繁殖过程。每一代都引入突变作为小的随机变化，不合格的解决方案通过选择被抛弃。最终，通过这种进化获得最优解。进化计算通常被认为是一个全局优化算法的集合。
基因演算法 (GA，Genetic Algorithm) 是最常使用的进化计算策略之一。此外，近年来 GA 极大地促进了超表面的反求设计，如超透镜、太赫兹四分之一波片、可编程超材料、亚波长晶格光学。
数据分析
AI 还展示了其在超光学中强大的数据分析能力，类似应用包括对从超透镜中捕捉到的图像进行计算机视觉任务。AI 更常被用来处理从超表面获取不可读的数据，如图像分析、微波信号及红外光谱信息等。
(a-c) 为化学成分分类任务进行数据分析
(a) 超表面化学分类器示意图
(b) 每种化学品的透射光谱
(c) 前两个主成分（顶部）和通过 PCA 的前三个主成分的分类结果可视化
(d-g) 声学成像的数据分析
(d) 实验配置示意图
(e) 含有亚波长特征信息的高振幅波向量组件的波的传播，没有（左）和有（右）超透镜
(f) 从辐射源到后端重建和识别的数据流
(g) 在没有超透镜（顶部）及有超透镜的情况下（底部），远场信息的重建和识别结果
智能可编程超器件
在 AI 的帮助下，基于可编程超表面的系统，就像一台安装了 CPU 的计算机。当一个可编程或可重构的超表面与 AI 结合时，它们之间的数据流会形成一个循环。AI 负责获取和处理光学数据，并调控可编程超表面的重构。
这使得超表面可以从一个普通的光学衍射元件演变为一个智能元件，理解输入数据并自行给出实时响应。
(a-c) 智能成像器
(b) 16 个辐射模式和机器学习产生的对应的模式
(c) 两个案例在不同测量次数（100、200、400 和 600）下的机器学习驱动的成像结果
(d) 智能成像仪和识别器
(e) 一个智能斗篷 (cloak)
除以上讨论的智能超器件外，一种由 AI 驱动的可编程超表面还可以实现实时复杂波束成形，并形成三维感知。
超器件时代或将来临
美国咨询公司 Lux Research 关于新兴光学和光子技术的报告显示，超光学材料已经做好初步商业部署，并且将在 2030 年占据价值数十亿美元的市场。
以国际领先的超表面公司 Metalenz、NIL Technology 为例，其商业化进展包括：Metalenz 将超光学技术与半导体制造工艺相结合，在意法半导体 12 英寸晶圆代工厂内实现批量生产，并将超透镜应用于意法半导体 FlightSense 系列 ToF 测距传感器 VL53L8；NIL Technology 已构建一个完整的超透镜产业链，包括设计、原型制作、测试和表征以及制造能力，并实现了超透镜的出货。
当中值得关注是，就在今年，Metalen 宣布获得新一轮的 1000 万美元风险投资，其联合创始人兼 CEO 罗伯特·德夫林 (Robert Devlin) 表示「我们能够在提高系统级性能的前提下，用单个超光学器件替换当前模块中多达 6 个传统光学器件」。
可以窥见，以超透镜为代表的超器件正从实验室走向产业界，逐步成为光学前沿技术的热点，并有望为光学产业带来一场变革。而其中，AI 在超光学发展中起到了至关重要的作用。将 AI 应用于超光学，能够解决复杂的光学设计，快速获得问题的最佳解决方案，同时又能够满足新功能的需求，因此，可以肯定，这两者的结合必将进一步有助于先进光学芯片的研究和开发，并推动下一代光学设备和系统尽快实现。
参考链接：
[1]https://baijiahao.baidu.com/s?id=1755507538405155365&wfr=spid...
[2]https://zhuanlan.zhihu.com/p/540485936
论文地址：
