光速执行AI运算,港科大双层「全光学」神经网络不要计算机也能做分类

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: 完全通过光学,不要计算机也能构建个神经网络?港科大的研究团队提出了一种全光学神经网络,所有线性变换、激活函数通过光学模块就能实现。

微信图片_20211201212316.jpg

图源:鹏城实验室 Olivia Wang


在处理模式识别、风险管理以及其他同样复杂的任务时,最强大的计算机都无法与人脑匹敌。但是,近来光学神经网络取得的进展通过模拟人脑中神经元的反应方式缩小了计算机与人脑之间的差距。这种光学神经网络比 ML 中的网络能耗更低、运算更快,是未来大规模应用 AI 的坚实基础。


近日,来自香港科技大学的研究团队在《Optica》杂志上发表了一篇论文,详细描述了他们提出的双层全光学神经网络。这是一个功能完善的全光学神经网络(AONN),其中所使用的线性函数和非线性激活函数都是完全根据光学实现的。而且这种全光学神经网络还能扩展到更加复杂的神经网络架构,从而完成图像识别等更复杂的任务。



微信图片_20211201212319.jpg

这个复杂的东西就是一个两层的全光学神经网络,它和机器学习中的两层全连接网络有点「类似」。


研究团队成员之一 Junwei Liu 表示:「我们提出的全光学神经网络能够以光速执行光学并行计算,并且耗能极少。这种大规模的全光学神经网络可应用于图像识别以及科学研究等诸多领域。」


港科大的全光学神经网络是什么


在传统混合光学的神经网络中,光学组件通常用于线性运算,而非线性激活函数通常使用电子的方式实现。这主要因为非线性光学元器件需要高功率的激光器,这在光学神经网络中是很难实现的。


为了克服这方面的问题,研究者使用具有电磁感应透明度的冷原子实现非线性函数。研究团队的 Shengwang Du 说:「这种光感应效应可以通过非常小功率的激光器实现,且该效应是基于非线性量子干涉的。因此这种效应可以将我们的系统扩展到量子神经网络,从而解决经典方法难以解决的问题。」


为了确认新方法的能力与可行性,研究者构建了一个双层全连接全光学神经网络,它的输入单元与输出单元数目分别是 16 与 2。研究者使用他们的全光学网络分类 Ising 模型(一种磁场的统计学模型),即 order 和 disorder 阶段两个类别。结果表明,全光学神经网络与一般基于计算机的神经网络一样准确。


微信图片_20211201212322.jpg

图 1:全连接网络的结构与全光学神经网络的一般结构。


如上 a 为机器学习中常见的全连接网络,b 则是香港科技大学研究者提出的全光学神经网络(AONN),它们都会进行非线性变换。与一般的 ONN 不同,AONN 没有复杂的电场神经元,AONN 所有的信都通过光学的方式进行编码。


非线性光学激活函数


这篇论文核心的突破就是采用了基于光学的非线性激活函数,因此整个网络才能称为「全」光学神经网络。那么什么是非线性光学激活函数?简单而言,它就是一种基于电磁感应透明的模块(electromagnetically induced transparency, EIT)完成的,我们只要知道 EIT 是一种原子跃迁之间的光量子干涉效应就行了。


EIT 非线性光学激活函数由激光冷却的 85Rb 原子在 dark-line 二维磁光阱(MOT)中实现,如下图 3(a) 所示。图 3(b) 所示为原子能级,原子在基态|1>中制备。


在没有耦合光束的情况下,原子介质对共振探测光束是不透明的,它如图 3(c) 透射光谱中的实现所示最大程度地被原子吸收。


微信图片_20211201212332.jpg

图 3:EIT 非线性光学激活函数的实现。

对「光学神经网络」的不懈追求


当然,香港科技大学的这个全光学神经网络并非研究者在该领域的唯一探索。今年 5 月份,在《Nature》的一篇论文中,德国的研究人员提出了一种在毫米级光子芯片上实现的、基于相变非线性材料的全光学脉冲神经网络。该网络内部没有光到电的转换,输入的数据被电子调制成不同的波长以注入网络,但之后所有数据都会停留在芯片上。利用集成相变材料来实现权重调制和神经元集成;它们位于两种微环谐振器上,具有突触或神经功能。


在不同工作波长情况下注入的未调制光接收到在相变材料中累积的神经元激活,之后将它们传递到网络下一层。即使没有芯片上光学增益(在这个过程中,一种介质将能量传递给通过它传输的光),这个设置也可能扩展至更大的网络。作者在其上实现了小规模的监督学习和无监督学习。


利用上述全光学神经元进行监督学习和无监督学习。a 和 b 表示两个神经元在不同输入模式下的输出;C:全光学神经元的无监督学习机制;d:重复显示「0110」模式时四个突触的权重随时间的变化。


香港科技大学的研究者在论文中也提到了这项研究,但他们指出,这两项研究存在根本差别。首先,德国这项研究中的系统是单层的,而本文中提出的是一个 16 个输入、2 个输出的双层全光学神经网络,还带有 4 个具有非线性光学激活函数的中间神经元。而且,港科大的研究者利用 EIT 量子干涉实现了非线性光学激活函数,这与那项研究的方法完全不同。


除了上述全光学神经网络,还有研究者尝试从局部入手,把神经网络的一部分替换为光学卷积层。


去年 8 月,斯坦福大学在《Nature》子刊《Scientific Reports》上发表论文,提出在 CNN 网络前端替换一个光学卷积层(opt-conv)的方案,可以在保持网络性能的同时显著降低能耗,并在 CIFAR-10 数据集的分类任务上验证了其结论。


光学卷积层也就是用光学器件实现的卷积层,其光学运算具备高带宽、高互联和并行处理特性,并能光速执行运算,功耗接近于零。该技术有望在低功耗机器学习领域得到进一步发掘。

微信图片_20211201212335.jpg

光学卷积层设计。(a)4f 系统图,可以通过在傅里叶平面上放置相位掩模来实现光学卷积层(opt-conv)。(b)数字卷积层的标准组成,包括输入图像、卷积核堆栈和相应的输出量。(c)opt-conv 层中的等效组成,核和输出以二维数组的形式平铺在平面,而不是堆叠在深度维数中。


此外,为了实现光速运算,加州大学洛杉矶分校(UCLA)的研究者甚至用 3D 打印打造出了固态的神经网络。该网络利用层级传播的光衍射来执行计算,实现了手写数字的图像识别,相关成果已发表在《science》杂志上。


微信图片_20211201212338.jpg


这一想法看似新奇,其实也很自然。神经网络中执行的线性运算,恰好和光衍射的线性相互作用对应,神经元的权重、激活值概念也能和光的振幅、相位对应(可调)。此外,固态光衍射计算还具有能耗小、无发热、光速执行(尽管传统计算机电路中的电场传播也是光速的,但并未直接对应神经网络的计算过程)等优点。


当然,也有人对此提出质疑,认为这种固态的神经网络对安装精度和环境震动要求比较严格,可行性有待考证。

更复杂的光学神经网络


最后,研究者还计划扩展全光学的这种方法,从而构建具有复杂架构的大规模全光学深度神经网络,这些网络能用于更复杂的图像识别等任务。该论文的作者说:「尽管我们的工作是概念性验证,但它展示了全光学神经网络在未来人工智能中的可能性。下一代的 AI 硬件在本质上应该更快、更低能耗,从而高效支持复杂的 AI 应用。」



参考链接:https://phys.org/news/2019-08-all-optical-neural-network-deep.htmlhttps://spectrum.ieee.org/tech-talk/semiconductors/optoelectronics/ai-at-speed-of-light

相关文章
|
21天前
|
机器学习/深度学习 算法 TensorFlow
动物识别系统Python+卷积神经网络算法+TensorFlow+人工智能+图像识别+计算机毕业设计项目
动物识别系统。本项目以Python作为主要编程语言,并基于TensorFlow搭建ResNet50卷积神经网络算法模型,通过收集4种常见的动物图像数据集(猫、狗、鸡、马)然后进行模型训练,得到一个识别精度较高的模型文件,然后保存为本地格式的H5格式文件。再基于Django开发Web网页端操作界面,实现用户上传一张动物图片,识别其名称。
50 1
动物识别系统Python+卷积神经网络算法+TensorFlow+人工智能+图像识别+计算机毕业设计项目
|
20天前
|
机器学习/深度学习 算法 TensorFlow
交通标志识别系统Python+卷积神经网络算法+深度学习人工智能+TensorFlow模型训练+计算机课设项目+Django网页界面
交通标志识别系统。本系统使用Python作为主要编程语言,在交通标志图像识别功能实现中,基于TensorFlow搭建卷积神经网络算法模型,通过对收集到的58种常见的交通标志图像作为数据集,进行迭代训练最后得到一个识别精度较高的模型文件,然后保存为本地的h5格式文件。再使用Django开发Web网页端操作界面,实现用户上传一张交通标志图片,识别其名称。
45 6
交通标志识别系统Python+卷积神经网络算法+深度学习人工智能+TensorFlow模型训练+计算机课设项目+Django网页界面
|
16天前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
29 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
16天前
|
机器学习/深度学习 人工智能 算法
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台。果蔬识别系统,本系统使用Python作为主要开发语言,通过收集了12种常见的水果和蔬菜('土豆', '圣女果', '大白菜', '大葱', '梨', '胡萝卜', '芒果', '苹果', '西红柿', '韭菜', '香蕉', '黄瓜'),然后基于TensorFlow库搭建CNN卷积神经网络算法模型,然后对数据集进行训练,最后得到一个识别精度较高的算法模型,然后将其保存为h5格式的本地文件方便后期调用。再使用Django框架搭建Web网页平台操作界面,实现用户上传一张果蔬图片识别其名称。
35 0
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
28天前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【9月更文挑战第12天】在当今科技飞速发展的时代,人工智能(AI)已深入我们的生活,从智能助手到自动驾驶,从医疗诊断到金融分析,其力量无处不在。这一切的核心是神经网络。本文将带领您搭乘Python的航船,深入AI的大脑,揭秘智能背后的秘密神经元。通过构建神经网络模型,我们可以模拟并学习复杂的数据模式。以下是一个使用Python和TensorFlow搭建的基本神经网络示例,用于解决简单的分类问题。
38 10
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的奥秘:深度学习与神经网络
【9月更文挑战第11天】本文将深入探讨人工智能的核心领域——深度学习,以及其背后的神经网络技术。我们将从基础理论出发,逐步深入到实践应用,揭示这一领域的神秘面纱。无论你是AI领域的初学者,还是有一定基础的开发者,都能在这篇文章中获得新的启示和理解。让我们一起踏上这场探索之旅,揭开AI的神秘面纱,体验深度学习的魅力。
|
29天前
|
机器学习/深度学习 人工智能 TensorFlow
深入骨髓的解析:Python中神经网络如何学会‘思考’,解锁AI新纪元
【9月更文挑战第11天】随着科技的发展,人工智能(AI)成为推动社会进步的关键力量,而神经网络作为AI的核心,正以其强大的学习和模式识别能力开启AI新纪元。本文将探讨Python中神经网络的工作原理,并通过示例代码展示其“思考”过程。神经网络模仿生物神经系统,通过加权连接传递信息并优化输出。Python凭借其丰富的科学计算库如TensorFlow和PyTorch,成为神经网络研究的首选语言。
30 1
|
1月前
|
人工智能 自然语言处理 自动驾驶
【通义】AI视界|马斯克亲自辟谣:xAI不可能在特斯拉的推理计算机上运行
本文精选了24小时内的重要科技新闻,包括马斯克辟谣xAI不会运行在特斯拉计算机上、谷歌发布AlphaProteo AI模型、百度贴吧“弱智吧”成为AI训练佳选、荣耀推出跨应用智能体以及苹果即将在iOS 18.2中加入图像生成功能。更多内容请访问通义官网体验。
|
1月前
|
机器学习/深度学习 数据采集 数据可视化
深度学习实践:构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行分类
本文详细介绍如何使用PyTorch构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行图像分类。从数据预处理、模型定义到训练过程及结果可视化,文章全面展示了深度学习项目的全流程。通过实际操作,读者可以深入了解CNN在图像分类任务中的应用,并掌握PyTorch的基本使用方法。希望本文为您的深度学习项目提供有价值的参考与启示。
|
2月前
|
数据采集 机器学习/深度学习 人工智能
Python爬虫入门指南探索AI的无限可能:深度学习与神经网络的魅力
【8月更文挑战第27天】本文将带你走进Python爬虫的世界,从基础的爬虫概念到实战操作,你将学会如何利用Python进行网页数据的抓取。我们将一起探索requests库和BeautifulSoup库的使用,以及反爬策略的应对方法。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你打开一扇通往数据抓取世界的大门。