IBM 发布首个深度学习类脑超级计算平台 IBM TrueNorth

简介:

IBM TrueNorth。图片来源:federallabs.org


IBM 日前发布了一款用于深度学习的类脑超级计算平台 IBM TrueNorth,其处理能力相当于 1600 万个神经元和 40 亿个神经键,消耗的能量只需 2.5 瓦。将低能耗的类脑处理器应用于深度学习无疑是未来大数据处理创新方法。


劳伦斯·利弗莫尔国家实验室(LLNL)数据科学部门的副主任 Jim Brase 表示,类脑计算与未来高性能计算和模拟发展趋势一致,类脑计算的潜力和机器智能将会改变科研方式。


IBM TrueNorth 的架构基于 IBM 此前发布的 TrueNorth 脉冲神经网络芯片。就在上周举行的 2016 年物理设计国际研讨会(ISPD)上,IBM 展示了其研发的 TrueNorth 的发展现状及规划,包括 TrueNorth 芯片架构、评估板数组、参考设计系统和软件生态架构。ISPD 是 ACM 旗下的会议,这次会议对下一代的芯片进行了讨论。


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy
一台 TrueNorth 处理器由 54 亿个连结晶体管组成,构成了包含100万个数字神经元阵列,这些神经元又可通过 2.56 亿个电突触彼此通信。超过 4 亿比特的本地存储单位(100KB每核)存储突触和神经元参数。在 0.8 伏电压下,一台实时运行的 TrueNorth 处理器功耗仅为 70 毫瓦,每秒可执行 46 千兆突触运算。图片来源:research.ibm.com


TrueNorth 设计师 Filipp Akopyan 在演讲中表示从第一个微处理器到今天的超级计算机芯片,时钟速度和功耗在稳步的上升,我们应该朝着相反的反向走:更低的时钟速度和更低的功耗,最终低到人类大脑的 10 赫兹、20 瓦的指标。

 

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

IBM 的类脑架构从上图中的左上角开始,通过研究人类大脑的皮质神经元结构,然后是右边的架构、功能并最终达到物理实现。同样,更复杂的神经形态的灵感,来自于左上角下面的核心理念,从单芯片到多芯片的模块。图片来源:edugeek.net

 

“今天我们的移动端生产着大量的数据,它们必须通过云端来处理,但是 TrueNorth 可以配置在边缘网络中,数据可以流入并且得到智能的处理,而只需要把重要的项目和总结传送到云端,”Akopyan 在报告中说道:“但是计算资源正在往错误的高功率方向发展,它们最好降低到生物级别的水准。”


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy
TrueNorth 芯片最大的差别是,它既有传统的同步的部分(接口和时序),也有异步的部分(类脑架构),所以流程需要单独但同步的开发。来源:eetimes.com


Akopyan 表示,TrueNorth 芯片的目标是边缘网络(Edge-of-the-Net)和大数据解决方案,因此必须通过超低功耗实时处理大量数据。TrueNorth 实现 54 亿个晶体管 70 毫瓦功率的关键是采用了异步的逻辑,芯片除了在特定的神经元被开启并和其他神经元进行通信的时候,功率消耗都为 0。在结构上,如果是采用同步的架构,里面的 54 亿晶体管会消耗 50 到 100 瓦,但异步架构会让功耗降到最低。


为了在结构上实现任何神经元彼此连结,晶体管上有一个巨大的纵横栓开关(crossbar switch)连结 54 亿的神经元。

 

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

IBM 第一个电路板级别的解决方案,使用了16块单芯片的 TrueNorth。图片来源:research.ibm.com

 

IBM 现在有一块单芯片电路板,机箱有 16 片和 48 片的电路板,每块电路板有 16 个 TrueNorh 芯片。未来 IBM 还打算做出有着 64、256、1024 和 4096 块芯片的电路板。其中,4096 块芯片的电路板包含的神经突触数量可能达到人脑的1%。

 

由于借鉴了人脑中神经元细胞的脉冲模型,IBM TrueNorth 与当前冯·诺依曼架构的计算机截然不同。IBM 类脑计算机首席科学家 Dharmendra S. Modha 在介绍 TrueNorth 也表示:如果把当前的冯·诺依曼架构计算机比作人的左脑,是快速处理抽象数据的计算器;那么相比之下 TrueNorth 更像右脑,是通过慢速感知进行模式识别的机器。他们希望利用神经突触可塑性,增强 TrueNorth 规模,创造现场适应性强并且能够在线学习的新一代类脑计算机。

文章转载自新智元公众号 原文链接

目录
相关文章
|
机器学习/深度学习 人工智能 Cloud Native
高性能深度学习推理平台 OpenPPL 正式开源!
高性能深度学习推理平台 OpenPPL 正式开源!
2033 0
|
3月前
|
机器学习/深度学习 人工智能 分布式计算
阿里云PAI:一站式AI研发平台,引领深度学习潮流
阿里云PAI:一站式AI研发平台,引领深度学习潮流 随着人工智能的飞速发展,深度学习框架已经成为AI研发的核心工具。然而,选择合适的深度学习框架并不容易,需要考虑的因素包括计算性能、易用性、支持的算法组件等多种因素。今天,我们就来介绍一款一站式AI研发平台——阿里云PAI,看看它如何解决这些痛点。
120 1
|
存储 机器学习/深度学习 人工智能
喜马拉雅基于阿里云机器学习平台PAI-HybridBackend的深度学习模型训练优化实践
喜马拉雅AI云借助阿里云提供的HybridBackend开源框架,实现了其推荐模型在 GPU 上的高效训练。
|
机器学习/深度学习 人工智能 异构计算
《阿里云异构计算平台——加速AI深度学习创新》电子版地址
阿里云异构计算平台——加速AI深度学习创新
111 0
《阿里云异构计算平台——加速AI深度学习创新》电子版地址
|
机器学习/深度学习 人工智能 并行计算
Python 深度学习AI - 利用训练好的模型库进行图像分割、一键抠图实例演示,百度深度学习平台飞浆paddlepaddle-gpu的安装与使用
Python 深度学习AI - 利用训练好的模型库进行图像分割、一键抠图实例演示,百度深度学习平台飞浆paddlepaddle-gpu的安装与使用
555 0
Python 深度学习AI - 利用训练好的模型库进行图像分割、一键抠图实例演示,百度深度学习平台飞浆paddlepaddle-gpu的安装与使用
|
机器学习/深度学习 人工智能 Kubernetes
PAI-DLC 深度学习训练平台介绍|学习笔记
快速学习 PAI-DLC 深度学习训练平台介绍。
449 0
PAI-DLC 深度学习训练平台介绍|学习笔记
|
机器学习/深度学习 人工智能 Cloud Native
阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow
在云栖大会上,阿里云机器学习PAI平台宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。
阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow
|
机器学习/深度学习 开发框架 并行计算
一文掌握Windows平台GPU深度学习开发环境部署
本文包含显卡驱动、cuda、cuDNN深度学习加速包、anaconda、tensorflow的安装以及安装源的配置,理解了本文,还可以安装pytorch等其他开发框架。
483 0
|
机器学习/深度学习 人工智能 自然语言处理
现象级的深度学习平台 他唯一的中文名叫:诸葛·深知
现象级的深度学习平台 他唯一的中文名叫:诸葛·深知
现象级的深度学习平台 他唯一的中文名叫:诸葛·深知
|
机器学习/深度学习 数据可视化
Nat. Mach. Intel. | IBM RXN: 深度学习在化学反应分类上大放异彩
Nat. Mach. Intel. | IBM RXN: 深度学习在化学反应分类上大放异彩
265 0
Nat. Mach. Intel. | IBM RXN: 深度学习在化学反应分类上大放异彩

热门文章

最新文章