深度学习的三种硬件方案 ASICs、FPGAs 和 GPU,开发者需要知道什么?-阿里云开发者社区

开发者社区> 青衫无名> 正文

深度学习的三种硬件方案 ASICs、FPGAs 和 GPU,开发者需要知道什么?

简介:
+关注继续查看

今年三月 AlphaGo 和李世石的“世纪之战”炒红了深度学习—— AlphaGo 采用了人工神经网络技术,充分挖掘了深度学习的潜力。简单来说,深度学习是一个包含了许多层级数据处理的神经网络,以自动化方式组合起来解决问题。

人机大战之前,相当多的人并不看好 AlphaGo,包括许多围棋、AI 业内人士 。但公众并不清楚的是:当时谷歌手中握着一张王牌——AlphaGo 的计算设备搭载了特制硬件,一个被谷歌称为“Tensor Processing Unit”(TPU)的计算卡

深度学习的三种硬件方案 ASICs、FPGAs 和 GPU,开发者需要知道什么?

谷歌 TPU

深度学习的三种硬件方案:ASICs,FPGAs,GPU

人机大战落幕后的两个月,谷歌硬件工程师 Norm Jouppi 才公开了它的存在。在博客中,他解释道,谷歌给数据中心装备这些加速器卡已经有超过一年的时间。虽然谷歌对技术细节严格保密,但已透露它们专为谷歌开源项目 TensorFlow 而优化;并且,它采取了一个越来越流行的深度学习运算加速方式:ASICs。它全称为应用型专用集成电路(application-specific integrated circuit)。

而微软采用了另一种逐渐流行起来的方式:FPGAs(现场可编程门阵列,field-programmable gate arrays)它的优势是,如果计算机需要改变,它可以被重新装配。但是,最通用、最主流的方案仍旧是使用 GPU,以并行处理大量数学运算。不出预料,GPU 方案的主要推动者是该市场的霸主英伟达。

深度学习的三种硬件方案 ASICs、FPGAs 和 GPU,开发者需要知道什么?

英伟达旗舰显卡 Pascal Titan X

事实上, 2009 年之后人工神经网络的复兴与 GPU 有紧密联系——那一年,几名斯坦福的学者向世界展示,使用 GPU 可以在合理的时间内训练深度神经网络。这直接引发了 GPU 通用计算——GPGPU 的浪潮。

英伟达首席科学家、斯坦福并发 VLSI 架构小组的负责人  William J. Dally 表示:“行内每个人现在都在做深度学习,这方面,GPU 几乎已经达到了最好。”

深度学习的三种硬件方案 ASICs、FPGAs 和 GPU,开发者需要知道什么?

William J. Dally (又名 Bill Dally)

深度学习的三种运算任务

William Dally 进一步解释,深度学习硬件的选择有三个不同领域要考虑。

1. “数据中心的训练”

第一个被他称之为“在数据中心训练”。这里,他指的是任何深度学习系统需要做的第一步:调整神经元之间的数百万连接,让神经网络来执行分配的任务。

对于这方面的硬件,行业领头羊是一家最近被英特尔收购的公司 Nervana Systems。该公司的计算机学者 Scott Leishman 透露,他们开发出的 ASIC 深度学习加速器 Nervana Engine, 将于 2017 年中投产。他注意到,另外一项需要大量计算的任务——比特币挖矿,正从一开始在 CPU 上运行,转移到 GPU,再到 FPGAs,最终到 ASICs。这是由于提升的能耗效率。他说:“在深度学习领域我观察到了同样的趋势”

2. “数据中心的推理(inference)”

第二个深度学习硬件的任务是,“数据中心的推理(inference)”。推理在这里指代的是,基于云端、被训练来处理特定任务的神经网络的连续运行。每天,谷歌的神经网络都要运行天文数字级别的推理计算,来进行图片分类,语言翻译,语音识别。虽然现在的信息不足以证实,但据雷锋网(公众号:雷锋网)所知,业内人士普遍推测谷歌的 TPU 是为这些任务而定制。

训练和推理通常需要不同的技能组合。对训练来说,计算机往往需要以较高的精确度运算,一般使用 32 位浮点运算。对于推理,精确度可以适当牺牲,换取更快的速度和更低的能耗。对此,Leishman 表示:“这是一个热门研究领域,能耗到底可以降低到什么程度?”

 William Dally 拒绝透露英伟达的深度学习产品计划,而是强调如今做出的成绩。他说,英伟达的 GPU 在不断进化。上代 Mazwell 架构可以进行双精度(64 位)或者单精度(32 位)运算,而这一代的帕斯卡( Pascal )架构能以单精度运算两倍的吞吐量和效率进行 16 位运算。我们能想象,英伟达很可能最终会发布能进行 8 位运算的 GPU 。对于云端的推理计算来说,这十分理想,因为能耗对于降低成本十分关键。

3. “嵌入式设备的推理”

第三个深度学习运算需要考虑的是 “嵌入式设备的推理”,比如智能手机、摄像头和平板电脑。这类应用的核心是低能耗的 ASICs。近年来,深度学习软件越来越多地集成入手机应用。它已经被用来查杀恶意软件和翻译图片中的文字。

雷锋网消息,大疆已经在精灵 4 中应用了类似于深度学习 ASIC 的东西:使用加州公司 Movidius 的视觉处理芯片来识别障碍。顺便说一句,Movidius 是最近另一家被英特尔收购的神经网络公司。另外,高通也在旗舰芯片 820 中加入了优化深度学习计算的特殊电路

深度学习的三种硬件方案 ASICs、FPGAs 和 GPU,开发者需要知道什么?

深度学习的三种硬件方案 ASICs、FPGAs 和 GPU,开发者需要知道什么?

今天,各家公司有极强的商业动机,去开发能加速深度神经网络的硬件。但这里有一个很大的风险:如果技术迭代太快,为昨天的神经网络而设计的芯片,可能在最终生产、铺货时就已经过时了。对此,William Dally 说道:“算法正在飞速变化,所有开发这些硬件的人,都试图让产品方案覆盖尽可能多的对未来的赌注。”

目前,基于 ASICs 和 FPGAs 产品大多应用在企业端,大多数个人开发者的的首选仍然是 GPU。至于在未来 GPU 的霸主地位是否会动摇,雷锋网会继续关注。

via ieee

【兼职召集令!】

如果你对未来充满憧憬,喜欢探索改变世界的科技进展,look no further!

我们需要这样的你:

精通英语,对技术与产品感兴趣,关注人工智能学术动态的萝莉&萌妹子&技术宅;

文字不求妙笔生花,但希望通俗易懂;

在这里,你会收获:

一群来自天南地北、志同道合的小伙伴;

前沿学术科技动态,每天为自己充充电;

更高的生活品质,翻翻文章就能挣到零花钱;

有意向的小伙伴们把个人介绍/简历发至 guoyixin@leiphone.com,如有作品,欢迎一并附上。

相关文章:

AMD 登陆机器学习领域,与英伟达、英特尔上演 AI 运算“三国杀”

英特尔宋继强:2020年,要让深度学习模型训练时间缩短100倍|2016 CAIIC

英特尔反击英伟达,推出深度学习加速器和新一代至强芯片


本文作者:三川


本文转自雷锋网禁止二次转载,原文链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
GAN正在成为新的深度学习
计算机视觉顶会CVPR 2018召开在即,从接收的论文看,这届会议展现出了怎样的趋势?你不要不信,生成对抗网络GAN,正在成为新的“深度学习”。
2260 0
地平线推新一代“天工开物”AI开发平台,让人工智能像“水电煤”一样普及
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 人工智能要像“水电煤”,降低使用门槛是关键。 最近,AI芯片公司地平线为了实现这一点,推出了全新一代AI开放平台——天工开物 (Horizon OpenExplorer™️ Platform)。
813 0
开发者学堂课程干货总结——Spring Cloud微服务架构设计与开发实战(四)
Spring Cloud微服务架构设计与开发实战课时1.4—微服务架构的典型应用场景 。Java Spring Cloud是全球范围内最成熟、最完善、最流行的微服务架构方案体系。被众多的互联网大公司采用,包括阿里巴巴、腾讯、支付宝、网易、IBM、谷歌、京东、百度、滴滴等。电子书+视频为同学带来最佳学习效果,文字、课程链接、图谱地址统统为大家放送了哦!
95 0
【推荐解决方案四部曲】请查收——第三部:基于深度学习模型Wide&Deep的推荐
Wide&Deep推荐算法出自一篇论文《Wide&Deep Learning for RecommenderSystems》,Wide&Deep由两部分组成,分别是Wide和Deep。先来说wide,表示的是generalized的推荐系统,传统的推荐系统都是通过线性算法基于离散特征来做推荐的。
539 0
动态 | 从零开始快速入门深度强化学习,OpenAI 发布学习资源 Spinning Up
资源包含了易懂的深度强化学习代码示例、习题、文档和教程。
245 0
Android官方开发文档Training系列课程中文版:管理音频播放之音频输出硬件的处理
原文地址:http://android.xsoftlab.net/training/managing-audio/audio-output.html 当用户使用Android设备享受音频时,它有多重的可选择替代方案。
711 0
NLP 如何突破深度学习的能力边界?
自然语言本身是人类对世界各种具象和抽象事物以及他们之间的联系和变化的一套完整的符号化描述,它是简化了底层物理感知的世界模型。
210 0
+关注
3598
文章
840
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载