摩尔定律搅局者:这家公司用光训练 AI,而不是GPU

简介: 初创公司Fathom Computing从2014年开始尝试用光子来处理数据,他们发现光子比电子更适合AI任务的计算,性能得到显著提升。在识别手写数字的任务上,光学计算机达到90%的准确率,这是极大的进步。未来光学计算机对大型AI任务来说有着无与伦比的吸引力。

Willam Andregg带我走进他的创业公司 Fathom Computing杂乱的工作室,轻轻抬起一个笨重黑匣子的盖子。匣子里,绿光从一组像是望远镜的镜头、支架和电缆中微微发出。这是一台使用光(而不是电)来处理数据的原型计算机,它正在学习识别手写数字。在其他实验中,这台计算机学会了用文本生成句子。

现在,这台原型光学计算机(optical computer)表现很好,但还达不到绝佳状态:在最佳运行条件下,它正确读出了 90%的潦草手写数字。但 Andregg 认为这是一个突破。 “2014 年我们开香槟庆祝公司成立时,正确率只有 30%左右,” 他笑着说。

Andregg 称这是机器学习软件首次使用激光脉冲电路而非电力进行训练。Fathom 公司正在努力缩小这台占地几平方英尺计算机的尺寸,以适应标准的云服务器。Fathom 希望这项技术将成为人工智能淘金热的一个利器。

科技公司,特别是像亚马逊和微软这样的大型云服务提供商,在计算机芯片上花费巨资为机器学习算法提供算力。研究人员发现专为图形设计的芯片非常适合于为识别语音或图像等任务驱动所谓的人工神经网络,这开启了人工智能的狂热。在过去的三年中,领先的图形芯片供应商Nvidia的股价已经增长了10倍以上,谷歌和其他许多公司也正在制造或研发自己的机器学习专门芯片。

766d0d9329a9167140540eef0ac40ca1e0cdec9f

Fathom的原型光学计算机乘法矩阵的可视化——这是对人工神经网络来说非常重要的操作。

Fathom的创始人们押注于这项新技术,认为它将超越纯电子计算机的能力。 William Andregg说:“光学技术与电子学相比具有根本上的优势,没有任何电子学的设计能够超越它。”他和兄弟一起创业,公司有11人,由Andy Rubin领导的风险投资公司Playground Global支持,后者共同开发了目前由谷歌拥有的Android操作系统。Fathom在加州帕洛阿尔托Playground的工作室运作。Playground曾是Nervana公司的主要投资方,该公司在2016年被Intel收购,成为该芯片巨头AI硬件战略的核心。

利用光而不是电来处理数据的好处

电信公司通过光信号来远距离传播数据,因为与金属电缆中的电脉冲相比,使用同样的能量,光信号传播得更远。一根电缆可以同时容纳许多并行数据流,由不同颜色的光线进行传输。

利用光来处理数据,以及传输数据,也能够带来显着的性能提升。因为光导线路内的光线或多或少是自由传播的。相反,电信号必须相阻抗,产生废热。容量增加和节能减排,两者加在一起对那些运行大型机器学习项目的公司是很大的吸引。

光处理器不是一个新概念。在20世纪60年代就提出来了,用于军用雷达系统。但是随着半导体产业大步前进,数十年来芯片密度都实现了摩尔定律的提升。Fathom是新的光学计算复兴的一部分,这一复兴是由于人们认识到摩尔定律似乎正在失效。加州大学伯克利分校的14名研究人员在最近的一份报告中提到了摩尔定律的消亡,他们提出使AI系统变得更加智能的技术上的挑战。报告写道:“硬件技术迅速提升的历史正在陷入停滞。”

光学计算机不太可能在短时间内为你的笔记本或智能手机供能。首先,Fathom的原型机仍然太笨重了。但亚利桑那大学的教授Pierre-Alexandre Blanche说,这项技术看起来与芯片在基于人工神经网络的AI项目中的主要工作相当匹配。Siri的语音识别、在围棋上赢过人类的AlphaGo,都是建立在大量特定的数学运算的基础上的,即矩阵的乘法运算。

Fathom的原型机是通过将数字编码成光束来执行这些操作。光束通过一系列透镜和其他光学元件。 阅读这些光束如何在这个过程中发生改变,可以揭示计算的结果。像这样的光电路可以有效地执行传统计算机中存储器和处理器的工作。在这些组件之间移动数据的时间成本和能源成本是当前使用的系统性能的瓶颈。

Fathom并不孤单,认为AI系统需要光线的公司不止它一家。总部位于巴黎的创业公司LightOn近日宣布,它已经开始在数据中心测试自己的光学处理器技术。初创公司Lightmatter和Lightelligence去年从MIT脱离,筹集了总计2100万美元的资金,包括来自中国搜索巨头百度的资金。这两家初创公司诞生于MIT的一个项目,该项目在光学计算机上运行神经网络进行语音识别。但与Fathom的设备不同,该系统并未负责软件的训练。“我们在网上发布关于该项目的研究报告之后,很快收到了来自投资者的多次电话,”Lightelligence首席执行官兼创始人Yichen Shen说,“这是一个巨大的机遇。”

Andregg兄弟的前一家创业公司Halcyon Molecular偶然发现了另一个大好机遇。这家基因测序公司得到了特斯拉CEO Elon Musk和Facebook投资人 Peter Thiel的支持,但在2012年倒闭了,创始人说,这是因为竞争对手领先太多。

Andregg认为他的团队更适合在光学计算竞赛中。尽管如此,Fathom的原型机还是很长一段路要走。除了机器太大之外,在变冷时,当前的版本容易出错。他们的目标是将系统安装到一块电路板上,这样它就可以滑进服务器。从外面看到的庞大系统的某些部分应该相对容易缩小;机器是用相对低成本的部件组装起来的,以便进行修补。他们还必须设计一个新的芯片来检测和操作激光束。但是设计任何类型的芯片对于初创公司来说都是一个复杂的任务。

Andregg认为两年内还无法准备好最终的产品,但是他兄弟俩已经开始担心人们将怎么利用这个产品 Fathom成立时是一家公益企业,其使命是“为人工智能制造更好的硬件,改善所有人的生活”。这是为了让Fathom有权拒绝他们认为可能导致AI恶意使用的销售。“我们不想见到一个负面的奇点,”Andregg说,“如果军方想要购买我们的系统,我们就会拒绝。”


原文发布时间为:2018-02-27

本文作者:Tom Simonite

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号

原文链接:摩尔定律搅局者:这家公司用光训练 AI,而不是GPU

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
1月前
|
并行计算 Shell TensorFlow
Tensorflow-GPU训练MTCNN出现错误-Could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
在使用TensorFlow-GPU训练MTCNN时,如果遇到“Could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED”错误,通常是由于TensorFlow、CUDA和cuDNN版本不兼容或显存分配问题导致的,可以通过安装匹配的版本或在代码中设置动态显存分配来解决。
47 1
Tensorflow-GPU训练MTCNN出现错误-Could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
|
24天前
|
人工智能 运维 Serverless
Serverless GPU:助力 AI 推理加速
近年来,AI 技术发展迅猛,企业纷纷寻求将 AI 能力转化为商业价值,然而,在部署 AI 模型推理服务时,却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题,以实现 AI 技术的高效落地。
|
26天前
|
人工智能 语音技术 UED
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
【10月更文挑战第19天】中国科学院计算技术研究所提出了一种名为LLaMA-Omni的新型模型架构,实现与大型语言模型(LLMs)的低延迟、高质量语音交互。该模型集成了预训练的语音编码器、语音适配器、LLM和流式语音解码器,能够在不进行语音转录的情况下直接生成文本和语音响应,显著提升了用户体验。实验结果显示,LLaMA-Omni的响应延迟低至226ms,具有创新性和实用性。
48 1
|
18天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多种配置选项,包括CPU+GPU、CPU+FPGA等组合,支持高性能计算需求。本文汇总了阿里云GPU服务器的价格信息,涵盖NVIDIA A10、V100、T4、P4、P100等多款GPU卡,适用于人工智能、机器学习和深度学习等场景。详细价格表和实例规格见文内图表。
|
1月前
|
人工智能 调度 开发工具
xGPU来啦!免费GPU资源开发花样AI应用!
为了降低AI应用服务和推广的门槛,解决开发者面临的实际痛点,ModelScope社区推出 xGPU 服务,让大家能够免费使用高性能 GPU 资源,托管自己的AI应用服务。
|
3月前
|
机器学习/深度学习 并行计算 PyTorch
GPU 加速与 PyTorch:最大化硬件性能提升训练速度
【8月更文第29天】GPU(图形处理单元)因其并行计算能力而成为深度学习领域的重要组成部分。本文将介绍如何利用PyTorch来高效地利用GPU进行深度学习模型的训练,从而最大化训练速度。我们将讨论如何配置环境、选择合适的硬件、编写高效的代码以及利用高级特性来提高性能。
676 1
|
3月前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多样化的选择,包括CPU+GPU、CPU+FPGA等多种配置,适用于人工智能、机器学习和深度学习等计算密集型任务。其中,GPU服务器整合高性能CPU平台,单实例可实现最高5PFLOPS的混合精度计算能力。根据不同GPU类型(如NVIDIA A10、V100、T4等)和应用场景(如AI训练、推理、科学计算等),价格从数百到数千元不等。详情及更多实例规格可见阿里云官方页面。
255 1
|
3月前
|
并行计算 算法 调度
自研分布式训练框架EPL问题之提高GPU利用率如何解决
自研分布式训练框架EPL问题之提高GPU利用率如何解决
|
4月前
|
人工智能 Serverless 异构计算
[AI Cog] 想要运营AI业务,但没有GPU?环境搞不定?使用Cog帮您轻松将业务部署上云
[AI Cog] 想要运营AI业务,但没有GPU?环境搞不定?使用Cog帮您轻松将业务部署上云
|
5月前
|
机器学习/深度学习 自然语言处理 异构计算
单GPU训练一天,Transformer在100位数字加法上就达能到99%准确率
【6月更文挑战第11天】Transformer模型在算术任务上取得重大突破,通过引入Abacus Embeddings,一天内在100位数字加法上达到99%准确率。该嵌入方法帮助模型跟踪数字位置,提升处理长序列的能力。实验还显示,Abacus Embeddings可与其他嵌入方法结合,提升乘法任务性能。然而,模型在更长序列的扩展性和其他类型任务的效果仍有待探究,具体训练技术的影响也需要进一步研究。论文链接:https://arxiv.org/pdf/2405.17399
75 1