摩尔定律失效怎么办?神经形态计算专家:把重点变成树突学习

简介: 摩尔定律失效怎么办?神经形态计算专家:把重点变成树突学习


机器之心编辑部

神经网络还有很多潜力等待发掘。

1965 年,戈登・摩尔归纳了一条经验之谈:集成电路上可以容纳的晶体管数目大约每经过 18 个月到 24 个月就会增加一倍。换言之,处理器的性能大约每两年翻一倍。


这条经验之谈被称为「摩尔定律」,之后的四十年里,半导体芯片制造工艺确实以令人目眩的速度成倍提高。但近年来,摩尔定律的加倍效应已在放缓,甚至有人预言在不久的将来会失效。


业界纷纷提出各种方案应对这种发展瓶颈,来自斯坦福大学的神经形态工程师 Kwabena Boahen 最近提出了一种新思路:人工神经元应该模仿生物神经元的树突,而非突触。研究论文发表在《Nature》上。



论文地址:https://www.nature.com/articles/s41586-022-05340-6


当前,神经形态计算旨在通过模仿构成人脑的神经元和突触的机制来实现人工智能(AI)。人工神经网络反复调整连接神经元的突触,以修改每个突触的「权重」,即一个神经元对另一个神经元的影响强度,然后神经网络确定由此产生的行为模式是否更善于找到解决方案。随着时间的推移,系统会发现哪些模式最适合计算结果,并采用这些模式作为默认模式。

神经网络通常包含很多层神经元,例如 GPT-3 拥有 1750 亿个权重,连接相当于 830 万个神经元,深度为 384 层。随着神经网络规模和功能的不断增加,它们变得越来越昂贵和耗能。以 GPT-3 为例,OpenAI 花费 460 万美元让 9200 个 GPU 运行两周来训练这个大型模型。Kwabena Boahen 说:「GPT-3 在训练期间消耗的能量转化为碳排放相当于 1300 辆汽车。」


这也是 Boahen 提出神经网络下一步应该尝试数图学习的重要原因。模仿神经网络中的树突将增加传输信号中传达的信息量,让 AI 系统不再需要 GPU 云中的兆瓦级功率,在手机等移动设备上就可以支持运行。

树突可以大量分支,允许一个神经元与许多其他神经元连接。已有研究发现,树突从其分支接收信号的顺序决定了其响应的强度。


Boahen 提出的树突计算模型只有在接收到来自神经元的精确序列信号时才会做出反应。这意味着每个树突都可以编码数据,而不仅仅是 0/1 这样简单的电信号。基础系统将变得更加强大,这取决于它拥有的连接数量和接收到的信号序列的长度。

在实际构建方面,Boahen 提出用铁电 FET(FeFET)来模拟树突,具有 5 个栅极的 1.5 微米长的 FeFET 就可以模拟具有 5 个突触的 15 微米长的树突。Boahen 说,这种构建版本可能会在「3D 芯片」中实现。


感兴趣的读者可以阅读论文原文,了解更多研究细节。


参考链接:https://spectrum.ieee.org/dendrocentric-learning


目录
打赏
0
0
0
0
367
分享
相关文章
思维模型No5|网络效应--快速增长的奥秘
思维模型No5|网络效应--快速增长的奥秘
141 1
欧伟杰博士:突破算力边界!YashanDB实现理论与工程双重突围
随着数字化进程的加速,数据处理的规模和速度需求持续攀升。传统数据库系统在处理大规模数据时,存在单表记录数不超过500万条的限制,这已成为业务发展的瓶颈。为了解决此问题,分布式数据库通过横向扩展来分担单节点的压力。然而,随着数据规模的增长,数据库节点的数量也会增加,这会导致成倍增长的运维问题和对IT运维工作的需求。
|
3月前
补齐Transformer规划短板又不放弃快速思考,田渊栋团队的Dualformer融合System 1和2双重优势
田渊栋团队提出的Dualformer是一种创新的Transformer模型,能同时进行快速和深度推理。通过随机化推理轨迹数据训练,Dualformer可在不同模式下高效解决问题,如迷宫导航,且在准确率和效率上超越现有模型。该模型有望提升大型语言模型在数学等复杂任务上的表现,但也面临训练资源需求高和自动模式需进一步优化的挑战。
51 3
算法、系统和应用,三个视角全面读懂混合专家(MoE)
【8月更文挑战第17天】在AI领域,混合专家(MoE)模型以其独特结构成为推动大型语言模型发展的关键技术。MoE通过动态选择专家网络处理输入,实现条件计算。稀疏型MoE仅激活部分专家以减少计算负担;软MoE则加权合并专家输出提升模型稳定性。系统层面,MoE优化计算、通信与存储,利用并行化策略提高效率。在NLP、CV、推荐系统等领域展现强大应用潜力,但仍面临训练稳定性、可解释性等挑战。[论文链接: https://arxiv.org/pdf/2407.06204]
269 63
图神经网络加持,突破传统推荐系统局限!北大港大联合提出SelfGNN:有效降低信息过载与数据噪声影响
【7月更文挑战第22天】北大港大联手打造SelfGNN,一种结合图神经网络与自监督学习的推荐系统,专攻信息过载及数据噪声难题。SelfGNN通过短期图捕获实时用户兴趣,利用自增强学习提升模型鲁棒性,实现多时间尺度动态行为建模,大幅优化推荐准确度与时效性。经四大真实数据集测试,SelfGNN在准确性和抗噪能力上超越现有模型。尽管如此,高计算复杂度及对图构建质量的依赖仍是待克服挑战。[详细论文](https://arxiv.org/abs/2405.20878)。
119 5
|
7月前
|
领域模式问题之大模型应用的规模成本增加如何解决
领域模式问题之大模型应用的规模成本增加如何解决
破解自注意力推理缺陷的奥秘,蚂蚁自研新一代Transformer或实现无损外推
随着大语言模型的快速发展,其长度外推能力(length extrapolating)正日益受到研究者的关注。尽管这在 Transformer 诞生之初,被视为天然具备的能力,但随着相关研究的深入,现实远非如此。传统的 Transformer 架构在训练长度之外无一例外表现出糟糕的推理性能。
125 0
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
带你简单了解Chatgpt背后的秘密:大语言模型所需要条件(数据算法算力)以及其当前阶段的缺点局限性
24353 11
时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了(1)
时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了
281 0
时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了(2)
时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了(2)
309 0

热门文章

最新文章