英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

简介:

雷锋网(公众号:雷锋网)按:在上篇文章中,我们看到了深度学习对计算量的迫切程度。以及介绍了一款Intel为此设计的处理器:代号为KNL(Knights Landing)的高性能CPU Xeon Phi。在下篇我们将为大家展示一些深度学习语言开发者们针对这些需求和新硬件做出的调整和改进。

在上文的末尾提到了著名的开源学习框架Caffe。不过,来自伯克利大学的原始版本的Caffe语言在处理的数据规模太大时需要的时间太长了,并且默认情况下并不支持多节点、并行文件系统。因此不是很擅长超大规模的深度学习运算。不过由于Caffe是开源的,因此理论上任何人都能对其进行自己需要的改进。Caffe的多种功能事实上都有很好的被改进以支持集群并行计算的潜力。而浪潮集团在原版Caffe的基础上加以改进,开发出了第一代支持在KNL上进行丛集并行计算的Caffe版本。支持英特尔的Luster存储器、OPA网络和KNL丛集。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

浪潮集团将这个改进版的Caffe框架命名为Caffe架构,下图是关于Caffe-MPI在KNL上进行运算时的结构的一些解释。可以看到,其计算流程采用MPI主从模式,使用多个KNL处理器组成节点网络,主节点使用一个KNL,而从节点可以视需求由N个KNL构成,因为使用了专为HPC设计的Lustre文件系统,因此数据吞吐量并不会限制到计算和训练。OPA架构也保证了网络通信的顺畅。软件系统方面,支持Linux/Intel MKL和Mvapich2 。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

设计框架中的主节点为MPI单进程+多Pthread线程,从节点为MPI多进程,图中展示了整个网络训练的框图。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

设计中对KNL的最多72个核心可以进行充分利用,主进程可以同时处理三个线程:并行读取和发送数据、权重计算和参数更新、网络间的参数沟通。下图中给出了图示。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

MPI结构中的从进程的主要处理流程是:从主进程中接收训练数据、发送权重数据、接收新的网络数据、进行前向、后向计算。从节点网络中每一个KNL核代表了一个MPI网络中的从节点。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

下图中的信息表示,改进版的在KNL丛集上运行的Caffe-MPI架构对原版Caffe进行了多项优化。最终的效果表现是原版的3.78倍。增加KNL处理器的总数时的性能扩展效率高达94.5%

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

而FPGA是另一项在深度学习领域极有潜力的硬件。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

目前浪潮、Altera和科大讯飞在在线识别领域对FPGA的应用起到了很好的成效。结果表明,FPGA组成的系统在各项指标上都显著优于传统CPU组成的系统。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

结论是,对于离线学习来说,基于KNL处理器搭建的MPI-Caffe架构可以很好的完成任务。而在线语音平台等在线认知项目则很适合使用FPGA来搭建系统。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)


本文作者:黄鑫

本文转自雷锋网禁止二次转载, 原文链接


相关文章
|
2月前
|
机器学习/深度学习 算法 数据可视化
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-2
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
140 0
|
2月前
|
机器学习/深度学习 Ubuntu Linux
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-1
计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
101 1
|
机器学习/深度学习 人工智能 自然语言处理
2023北京智源大会亮点回顾 | 高性能计算、深度学习和大模型:打造通用人工智能AGI的金三角
北京智源大会中黄铁军表示,从“第一性原理”出发,通过构建一个完整的智能系统AGI,从原子到有机分子到神经系统、到身体,实现通用人工智能。这是一个大概需要20年时间才能实现的目标。分别包括大模型方向、具身方向,以及智源自己期望方向的进展。
|
机器学习/深度学习 计算机视觉
112 页 PPT,2019 最新教程《深度学习数学基础》发布!
112 页 PPT,2019 最新教程《深度学习数学基础》发布!
231 0
112 页 PPT,2019 最新教程《深度学习数学基础》发布!
|
机器学习/深度学习 人工智能 自然语言处理
撒花!《神经网络与深度学习》中文教程正式开源!全书 pdf、ppt 和代码一同放出
撒花!《神经网络与深度学习》中文教程正式开源!全书 pdf、ppt 和代码一同放出
1462 0
撒花!《神经网络与深度学习》中文教程正式开源!全书 pdf、ppt 和代码一同放出
|
机器学习/深度学习 人工智能 算法
周志华揭牌英特尔-南大联合研究中心:探索DNN与GPU之外的「广义深度学习」
英特尔与南京大学联合成立了一个「人工智能联合研究中心」。9 月 12 日,英特尔中国研究院院长宋继强与南京大学人工智能学院院长周志华在南京为这个名为「英特尔-南京大学人工智能 IPCC 中心」的机构揭了牌。
171 0
周志华揭牌英特尔-南大联合研究中心:探索DNN与GPU之外的「广义深度学习」
|
机器学习/深度学习 人工智能 缓存
深度学习芯片大战愈演愈烈,英特尔为何斥巨资收购创业公司Nervana?
深度学习创业公司 Nervana Systems 一直是机器之心重点关注的人工智能领域的创业公司之一。在文章《深度 | 深度学习创业公司需要了解的12件事》中,该公司的三位创始人讲解了深度学习创业需要了解的事项。作为最早的一批人工智能创业公司,如今它的价值已经被科技巨头所看重。今日消息,该公司已经被英特尔以 4 亿美元的价格收购。
209 0
深度学习芯片大战愈演愈烈,英特尔为何斥巨资收购创业公司Nervana?
|
机器学习/深度学习
【直播整理】深度学习系列讲座视频观看地址+PPT下载
3月13、15、21日震撼播出《深度学习系列16讲》,报名地址 https://yq.aliyun.com/promotion/549 视频观看地址更新中……
19067 0
|
机器学习/深度学习 JavaScript 算法
【回放视频+PPT下载整理】编程语言系列讲座:深度学习JavaScript和React技术
编程语言系列讲座JavaScript篇,我们邀请了行业资深专家靖鑫和逸翾与大家一起学习最流行的编程语言,本次系列直播将对于JavaScript中的对象、函数和异步编程进行详细解读,并带领大家学习React技术栈,包括快速掌握组件化和搭建页面、Mobx状态管理框架和React Diff算法及新架构Fiber。
10871 0
|
机器学习/深度学习
普林斯顿大学教授:用理论的力量横扫深度学习(77PPT)
目前深度学习的应用较为广泛,尤其是各种开源库的使用,导致很多从业人员只注重应用的开发,却往往忽略了对理论的深究与理解。普林斯顿大学教授Sanjeev Arora近期公开的77页PPT,言简意赅、深入浅出的介绍了深度学习的理论——用理论的力量横扫深度学习!
1959 0