英特尔研发神经元AI处理器,模仿大脑功能,无需训练数据集

简介:
本文来自AI新媒体量子位(QbitAI)

0d2ecf44c7c3bfbf956aed1e5f23cfcbc005e50e

刚刚,黄仁勋在北京跑步上台演讲,庄严宣布:CPU的时代结束了。

好巧,英特尔说:不单CPU不行了,GPU也不行了。

这位CPU霸主表示,随着高度动态和非结构既然数据的相关需求逐渐增加,未来计算的需求将超越经典的CPU和GPU体系结构。

那怎么办?

英特尔这么说,肯定有办法。英特尔实验室今天宣布,正在研发出代号“Loihi”的自学习神经元芯片,模仿了大脑的功能,能从环境反馈中直接学习。

所谓自学习、模仿大脑,意思是Loihi内部由128个计算核心组成,每个核心有1024个“神经元”,总计超过13万个神经元和1.3亿个突触链接,和大脑的神经元一样,它们可以调整相互之间的联系,以适应新的任务。

从神经元数量上讲,Loihi比龙虾的大脑还要复杂一点。不过与人脑相比还相去甚远,人脑由超过800亿个神经元组成。

Loihi不需要通过传统的方式进行训练,而且会随着时间的增加变得越来越智能,而且功耗极低,这款处理器使用异步脉冲方式进行计算。

“大脑内部的沟通没有想象中的频繁”,英特尔实验室资深首席工程师兼首席科学家Narayan Srinivasa表示:“这款芯片只有脉冲出现时才消耗能量”。

90ceda711d376e4c5485e239c381fb9ec23a9891

下面是英特尔对Loihi芯片的详细说明。

Loihi简介

Loihi芯片包含模拟大脑基本机制的数字电路,使机器学习更快、更高效,同时降低对计算资源的需求。

神经形态芯片模型的灵感来自于神经元通信和学习的方式,利用了可根据时间调节的脉冲和塑料触突。基于模式和关联,这将帮助计算机实现自组织,做出决策。

Loihi芯片提供了非常灵活的片上学习能力,将训练和推理整合至同一块芯片上。这帮助机器实现自动化,实时调整,而无需等待来自云计算平台的下一次信息更新。

研究人员已证明,与其他典型的脉冲神经网络相比,在解决MNIST数字识别问题时,以实现一定准确率所需要的总操作数来看,Loihi芯片学习速度提高了100万倍。

与卷积神经网络和深度学习神经网络相比,Loihi芯片在同样的任务中需要更少的资源。

在优化汽车和工业应用,以及个人机器人方面,这款测试芯片的自学能力带来了巨大潜力,例如识别汽车或自行车的运动。在非结构化环境中,这些应用可以受益于自动化操作和持续学习。

此外,与通常用于训练人工智能系统的芯片相比,Loihi芯片的能效提升了1000倍。

参数

  • 全异步神经形态多核心网络,支持多种稀疏、分层和循环神经网络拓扑结构。每个神经元可以与成千上万个其他神经元通信。
  • 每个神经形态核心都包含一个学习引擎,在操作中可以通过编程去适配网络参数,支持监督学习、无监督学习、强化学习和其他学习范式。
  • 芯片的制造采用了英特尔14纳米工艺。
  • 总共提供了13万个神经元和1.3亿个触突。
  • 对于多种算法的开发和测试,实现了极高的算法效率。这些算法包括路径规划、约束满足、稀疏编码、字典学习,以及动态模式学习和适配。

f38b05cbd2feaee7644b6038e4908493a8c70b28

下一步

英特尔表示,在计算机和算法创新的推动下,人工智能的变革性力量预计将给社会带来重大影响。这家芯片巨头正通过多种产品,解决从网络边缘到数据中心和云计算平台,人工智能计算任务的独特需求。

随着人工智能计算任务越来越多多样化,越来越复杂,研究者将关注当前主流计算架构的局限性,提出新的颠覆性方法。展望未来,英特尔认为,神经形态计算带来了一种方式,以类似大脑的结构提供超大规模的计算性能。

但英特尔不是第一家使用神经科学指导芯片设计的公司。

IBM已经构建了两代神经形态处理器,称为TrueNorth,这个芯片同样基于脉冲神经元模式。TrueNorth芯片包括4096个核心和540万个晶体管,功耗70毫瓦,模拟了一百万个神经元和2.56亿个突触,这个数字在Loihi之上。

TrueNorth相当于一个蜜蜂的大脑。

不过与英特尔的芯片不同,TrueNorth芯片无法基于输入数据进行学习。IBM的研究得到了DARPA的资助,并且与两家实验室合作,但目前也没有商业可用性的进展。

不少AI专家对神经元芯片心存疑虑。IBM在2014年发表TrueNorth的第一篇论文时,Yann LeCun就曾指出,这类芯片很难运行卷积神经网络进行图像识别计算。Srinivasa也证实Loihi在某些深度学习模型上表现不佳。

无论英特尔神经元芯片最终结果如何,这都显示出英特尔已经意识到CPU不是唯一。随着AI的重要性日益增加,英特尔正不断拥抱其他芯片。2015年,英特尔亿167亿美元收购FPGA厂商Altera。去年,英特尔4亿美元收购AI芯片商Nervana。

至于Loihi,2018年上半年,英特尔将与部分大学和研究机构分享Loihi测试芯片。


最后,专门提一个人

2a94cec30c41bb18651189c3b8834e6533660441

加州理工的Carver Mead教授,现年已经83岁。他是现代微电子学的先驱,为半导体、数字芯片和硅编译器的开发和设计做出贡献,这些技术构成现代大规模集成芯片设计的基础。

上个世纪80年代以来,Mead专注于人类神经和生物学的电子建模,创造了神经电子系统。英特尔Loihi芯片也是建立在这一研究的基础之上。

本文作者:陈桦 问耕
原文发布时间:2017-09-26 
相关文章
|
6天前
|
人工智能 前端开发 Unix
使用tree命令把自己的代码归类文件目录的方法-优雅草央千澈以优雅草AI智能功能为例给大家展示tree命令实际用法
使用tree命令把自己的代码归类文件目录的方法-优雅草央千澈以优雅草AI智能功能为例给大家展示tree命令实际用法
使用tree命令把自己的代码归类文件目录的方法-优雅草央千澈以优雅草AI智能功能为例给大家展示tree命令实际用法
|
3天前
|
人工智能 数据处理 C#
AI Dev Gallery:微软开源 Windows AI 模型本地运行工具包和示例库,助理开发者快速集成 AI 功能
微软推出的AI Dev Gallery,为Windows开发者提供开源AI工具包和示例库,支持本地运行AI模型,提升开发效率。
37 13
|
19天前
|
机器学习/深度学习 人工智能 自然语言处理
AI自己长出了类似大脑的脑叶?新研究揭示LLM特征的惊人几何结构
近年来,大型语言模型(LLM)的内部运作机制备受关注。麻省理工学院的研究人员在论文《The Geometry of Concepts: Sparse Autoencoder Feature Structure》中,利用稀疏自编码器(SAE)分析LLM的激活空间,揭示了其丰富的几何结构。研究发现,特征在原子、大脑和星系三个尺度上展现出不同的结构,包括晶体结构、中尺度模块化结构和大尺度点云结构。这些发现不仅有助于理解LLM的工作原理,还可能对模型优化和其他领域产生重要影响。
59 25
|
25天前
|
编解码 人工智能 监控
VISION XL:支持四倍超分辨率的 AI 视频修复处理工具,提供去除模糊、修复缺失等功能
VISION XL是一款基于潜在扩散模型的高效视频修复和超分辨率工具,能够修复视频缺失部分、去除模糊,并支持四倍超分辨率。该工具优化了处理效率,适合快速处理视频的应用场景。
77 6
VISION XL:支持四倍超分辨率的 AI 视频修复处理工具,提供去除模糊、修复缺失等功能
|
28天前
|
机器学习/深度学习 存储 人工智能
【AI系统】感知量化训练 QAT
本文介绍感知量化训练(QAT)流程,旨在减少神经网络从FP32量化至INT8时的精度损失。通过在模型中插入伪量化节点(FakeQuant)模拟量化误差,并在训练中最小化这些误差,使模型适应量化环境。文章还探讨了伪量化节点的作用、正向与反向传播处理、TensorRT中的QAT模型高效推理,以及QAT与PTQ的对比,提供了实践技巧,如从良好校准的PTQ模型开始、采用余弦退火学习率计划等。
78 2
【AI系统】感知量化训练 QAT
|
28天前
|
机器学习/深度学习 存储 人工智能
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术,涵盖动态和静态量化方法,旨在将模型权重和激活从浮点数转换为整数,以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制,文章探讨了如何平衡模型精度与性能,同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
44 1
【AI系统】训练后量化与部署
|
7天前
|
人工智能 智能硬件
SPAR:智谱 AI 推出自我博弈训练框架,基于生成者和完善者两个角色的互动,提升了执行准确度和自我完善能力
SPAR 是智谱团队推出的自我博弈训练框架,旨在提升大型语言模型在指令遵循方面的能力,通过生成者和完善者的互动以及树搜索技术优化模型响应。
21 0
SPAR:智谱 AI 推出自我博弈训练框架,基于生成者和完善者两个角色的互动,提升了执行准确度和自我完善能力
|
10天前
|
人工智能 安全 搜索推荐
AI 驱动研发模式升级,蓝凌软件探索效率提升之道
蓝凌软件在引入通义灵码后取得了较明显的效果。目前,蓝凌软件已使用灵码的开发人员中,周活跃用户占比超过90%、根据代码库自动生成的代码占比超33%、代码智能补全占比29%,代码注释率提升了15%,有效提升了产品代码工程化的效能。
|
10天前
|
人工智能 API 数据库
Browser Use:开源 AI 浏览器助手,自动完成网页交互任务,支持多标签页管理、视觉识别和内容提取等功能
Browser Use 是一款专为大语言模型设计的智能浏览器工具,支持多标签页管理、视觉识别、内容提取等功能,并能记录和重复执行特定动作,适用于多种应用场景。
150 0
Browser Use:开源 AI 浏览器助手,自动完成网页交互任务,支持多标签页管理、视觉识别和内容提取等功能
|
10天前
|
人工智能 自然语言处理 搜索推荐
Open Notebook:开源 AI 笔记工具,支持多种文件格式,自动转播客和生成总结,集成搜索引擎等功能
Open Notebook 是一款开源的 AI 笔记工具,支持多格式笔记管理,并能自动将笔记转换为博客或播客,适用于学术研究、教育、企业知识管理等多个场景。
71 0
Open Notebook:开源 AI 笔记工具,支持多种文件格式,自动转播客和生成总结,集成搜索引擎等功能