IBM 发布首个深度学习类脑超级计算平台 IBM TrueNorth

简介:

IBM TrueNorth。图片来源:federallabs.org


IBM 日前发布了一款用于深度学习的类脑超级计算平台 IBM TrueNorth,其处理能力相当于 1600 万个神经元和 40 亿个神经键,消耗的能量只需 2.5 瓦。将低能耗的类脑处理器应用于深度学习无疑是未来大数据处理创新方法。


劳伦斯·利弗莫尔国家实验室(LLNL)数据科学部门的副主任 Jim Brase 表示,类脑计算与未来高性能计算和模拟发展趋势一致,类脑计算的潜力和机器智能将会改变科研方式。


IBM TrueNorth 的架构基于 IBM 此前发布的 TrueNorth 脉冲神经网络芯片。就在上周举行的 2016 年物理设计国际研讨会(ISPD)上,IBM 展示了其研发的 TrueNorth 的发展现状及规划,包括 TrueNorth 芯片架构、评估板数组、参考设计系统和软件生态架构。ISPD 是 ACM 旗下的会议,这次会议对下一代的芯片进行了讨论。



一台 TrueNorth 处理器由 54 亿个连结晶体管组成,构成了包含100万个数字神经元阵列,这些神经元又可通过 2.56 亿个电突触彼此通信。超过 4 亿比特的本地存储单位(100KB每核)存储突触和神经元参数。在 0.8 伏电压下,一台实时运行的 TrueNorth 处理器功耗仅为 70 毫瓦,每秒可执行 46 千兆突触运算。图片来源:research.ibm.com


TrueNorth 设计师 Filipp Akopyan 在演讲中表示从第一个微处理器到今天的超级计算机芯片,时钟速度和功耗在稳步的上升,我们应该朝着相反的反向走:更低的时钟速度和更低的功耗,最终低到人类大脑的 10 赫兹、20 瓦的指标。

 


IBM 的类脑架构从上图中的左上角开始,通过研究人类大脑的皮质神经元结构,然后是右边的架构、功能并最终达到物理实现。同样,更复杂的神经形态的灵感,来自于左上角下面的核心理念,从单芯片到多芯片的模块。图片来源:edugeek.net

 

“今天我们的移动端生产着大量的数据,它们必须通过云端来处理,但是 TrueNorth 可以配置在边缘网络中,数据可以流入并且得到智能的处理,而只需要把重要的项目和总结传送到云端,”Akopyan 在报告中说道:“但是计算资源正在往错误的高功率方向发展,它们最好降低到生物级别的水准。”



TrueNorth 芯片最大的差别是,它既有传统的同步的部分(接口和时序),也有异步的部分(类脑架构),所以流程需要单独但同步的开发。来源:eetimes.com


Akopyan 表示,TrueNorth 芯片的目标是边缘网络(Edge-of-the-Net)和大数据解决方案,因此必须通过超低功耗实时处理大量数据。TrueNorth 实现 54 亿个晶体管 70 毫瓦功率的关键是采用了异步的逻辑,芯片除了在特定的神经元被开启并和其他神经元进行通信的时候,功率消耗都为 0。在结构上,如果是采用同步的架构,里面的 54 亿晶体管会消耗 50 到 100 瓦,但异步架构会让功耗降到最低。


为了在结构上实现任何神经元彼此连结,晶体管上有一个巨大的纵横栓开关(crossbar switch)连结 54 亿的神经元。

 


IBM 第一个电路板级别的解决方案,使用了16块单芯片的 TrueNorth。图片来源:research.ibm.com

 

IBM 现在有一块单芯片电路板,机箱有 16 片和 48 片的电路板,每块电路板有 16 个 TrueNorh 芯片。未来 IBM 还打算做出有着 64、256、1024 和 4096 块芯片的电路板。其中,4096 块芯片的电路板包含的神经突触数量可能达到人脑的1%。

 

由于借鉴了人脑中神经元细胞的脉冲模型,IBM TrueNorth 与当前冯·诺依曼架构的计算机截然不同。IBM 类脑计算机首席科学家 Dharmendra S. Modha 在介绍 TrueNorth 也表示:如果把当前的冯·诺依曼架构计算机比作人的左脑,是快速处理抽象数据的计算器;那么相比之下 TrueNorth 更像右脑,是通过慢速感知进行模式识别的机器。他们希望利用神经突触可塑性,增强 TrueNorth 规模,创造现场适应性强并且能够在线学习的新一代类脑计算机。

文章转载自新智元公众号 原文链接

目录
相关文章
|
5月前
|
机器学习/深度学习
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
|
5月前
|
机器学习/深度学习
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
【从零开始学习深度学习】23. CNN中的多通道输入及多通道输出计算方式及1X1卷积层介绍
|
17天前
|
机器学习/深度学习 算法 编译器
Python程序到计算图一键转化,详解清华开源深度学习编译器MagPy
【10月更文挑战第26天】MagPy是一款由清华大学研发的开源深度学习编译器,可将Python程序一键转化为计算图,简化模型构建和优化过程。它支持多种深度学习框架,具备自动化、灵活性、优化性能好和易于扩展等特点,适用于模型构建、迁移、部署及教学研究。尽管MagPy具有诸多优势,但在算子支持、优化策略等方面仍面临挑战。
44 3
|
2月前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
90 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
5月前
|
机器学习/深度学习 算法 数据可视化
【从零开始学习深度学习】46. 目标检测中锚框的概念、计算方法、样本锚框标注方式及如何选取预测边界框
【从零开始学习深度学习】46. 目标检测中锚框的概念、计算方法、样本锚框标注方式及如何选取预测边界框
|
1月前
|
机器学习/深度学习 分布式计算 安全
深度学习之安全多方计算
基于深度学习的安全多方计算(Secure Multi-Party Computation,简称MPC)是一种密码学技术,旨在让多个参与方在不暴露各自数据的前提下,协作完成一个计算任务。
43 0
|
2月前
|
机器学习/深度学习 人工智能 算法
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台。果蔬识别系统,本系统使用Python作为主要开发语言,通过收集了12种常见的水果和蔬菜('土豆', '圣女果', '大白菜', '大葱', '梨', '胡萝卜', '芒果', '苹果', '西红柿', '韭菜', '香蕉', '黄瓜'),然后基于TensorFlow库搭建CNN卷积神经网络算法模型,然后对数据集进行训练,最后得到一个识别精度较高的算法模型,然后将其保存为h5格式的本地文件方便后期调用。再使用Django框架搭建Web网页平台操作界面,实现用户上传一张果蔬图片识别其名称。
55 0
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
3月前
|
机器学习/深度学习 并行计算 异构计算
面向高效能计算的深度学习框架优化策略
【8月更文第9天】随着深度学习在各个领域的广泛应用,对训练模型的速度和效率要求越来越高。为了满足这些需求,深度学习框架需要针对不同硬件平台进行优化。本文将探讨针对GPU、TPU等硬件平台的优化策略,重点关注数据传输效率、并行计算策略及内存管理等方面。
143 1
|
4月前
|
机器学习/深度学习 算法 Serverless
现代深度学习框架构建问题之链式法则在反向传播中的作用如何解决
现代深度学习框架构建问题之链式法则在反向传播中的作用如何解决
55 3
|
5月前
|
机器学习/深度学习 人工智能 算法框架/工具
【深度学习】OneFlow深度框架:数据流图与异步计算的科技革新
【深度学习】OneFlow深度框架:数据流图与异步计算的科技革新
71 2