【博士每天一篇论文-算法】Optimal modularity and memory capacity of neural reservoirs

简介: 本文研究了神经网络的模块化与记忆性能之间的关系,发现存在一个最佳模块化程度,能够在局部凝聚性和全局连接性之间实现平衡,从而显著提高神经网络的预测性能和记忆能力,并为设计神经网络和理解大脑的模块化组织提供了新的见解。

阅读时间:2023-11-15

1 介绍

年份:2019
作者:Nathaniel Rodriguez 印第安纳大学信息学、计算和工程学院,美国印第安纳州布卢明顿
期刊: Network Neuroscience
引用量:39
这篇论文主要研究了神经网络的模块化与记忆性能之间的关系,提出记忆性能存在一个最佳模块化程度,即在局部凝聚性和全局连接性之间建立平衡。这种最佳模块化可以使神经网络具有更长的记忆能力。
作者提出从神经网络的动力学分析和信息传播过程中获取的见解可以用于更好地设计神经网络,并可以揭示大脑的模块化组织。
研究了基于信息扩散和储备计算机的模块化的作用,展示了这对于平衡局部和全局通信和计算的能力以及提高记忆性能的效果。

2 创新点

(1)揭示了记忆性能的最佳模块化结构
通过研究神经网络的结构组织如何影响其功能能力,发现在记忆性能方面存在一个最佳的模块化结构。这个最佳模块化结构在局部凝聚性和全局连接性之间实现了平衡,从而使神经网络能够具有更长的记忆能力。
(2)动力学分析和信息传播过程揭示了设计神经网络的见解
作者提出了通过神经网络的动力学分析和信息传播过程来更好地设计神经网络的方法,并提出这种方法可能为大脑的模块化组织提供见解。通过基于信息扩散理论的模块化角色的研究,作者探讨了模块化在储层计算机中的作用。
(3)ESN中的社区的作用
通过研究信息扩散理论和模块化对预留河计算机的影响,作者发现ESN中的社区可以在局部和全局通信和计算之间提供平衡的方式,从而提高记忆性能。

3 相关研究

(1)储层计算(Reservoir computers)是生物学上可行的大脑计算模型
【Reservoir computing properties of neural dnamics in prefrontal cortex】
【Minimal approach to neuro-inspired information processing】
(2)储层计算与RNN不同,储层计算仅训练少量输出参数,而不是训练所有连接参数。储层计算机利用神经储层的隐式计算能力-模型神经元的网络。
储层计算机学习特定行为的能力取决于储层的动力学集合的丰富程度。
【Reservoir computing approaches to recurrent neural network training】
【A neurodynamical model for working memory】
(3)在ESN中受多个因素的影响,包括谱半径(the spectral radius )、输入和储层权重尺度( reservoir weight scales)以及储层大小( reservoir size)。
在记忆任务中,性能在谱半径的临界点附近急剧增加,嵌入在具有长转换和前一输入回响神经元状态的动力学区域,保存了过去的信息。【A neurodynamical model for working memory】【An experimental unification of reservoir computing methods】发现权重分布在性能方面也起重要作用。【Effects of synaptic connectivity on liquid state machine performance】
(4)储层拓扑的影响有较多的研究
使用小世界【Collective behavior of a small-world recurrent neural system with scale-free distribution.】, scale-free【 Collective behavior of a small-world recurrent neural system with scale-free distribution】,columnar 【Effects of synaptic connectivity on liquid state machine performance】【.A priori data-driven multi-clustered reservoir generation algorithm for echo state network-2015】,Kronecker图【An approach to modeling networks-2010】和带有横向抑制的集合【Decoupled echo state networks with lateral inhibition】,每种方法的性能都优于简单的随机图。

4 实验分析

4.1 验证线性阈值模型中发现的最优模块化现象是否适用于神经

通过两个模拟实验,验证了最优模块化现象不仅适用于线性阈值模型,也可以推广到神经网络中的沉积池。实验结果表明,当网络中的模块连接强度适中时,可以实现最大激活效果,优化整个网络的响应。
image.png
(1)第一个实验使用了一个简单的双社区配置,其中桥梁比例μ控制网络中的社区结构强度。当μ=0时,社区之间完全隔离,社区结构最强;当μ≈0.5时,社区之间连接最多。实验结果显示,即使没有指定种子社区,类似的最优模块化行为仍然存在。在低μ值下,由于缺乏桥梁的存在,输入信号无法得到加强,即使是高度凝聚的社区也无法被激活。在高μ值下,虽然存在许多全局桥梁有助于巩固信号,但局部凝聚度不足以维持强烈的响应。在最优区域,社区的放大效应与桥梁的全局传播之间存在平衡,使得网络能够将亚临界的、全局分布的信号传播到整个网络。然而,在线性和双曲正切的库中,并未发现这种关系。
(2)第二个实验模拟一个具有许多社区的网络,这些社区类似于ESN(Echo State Network)或大脑中观察到的社区。与之前的研究仅仅考虑输入到单个社区不同,这里扩展到了多个社区。实验结果显示,即使没有指定的种子社区,类似的最优模块化行为也出现。在低μ值下,由于缺乏桥梁的存在,输入信号无法得到加强,甚至无法激活高度凝聚的社区。在高μ值下,许多全局桥梁有助于巩固信号,但局部凝聚度不足以维持强烈的响应。在最优区域中,社区的放大效应与桥梁的全局传播之间存在平衡,使得网络能够将亚临界、全局分布的信号传播到整个网络。然而,在线性和双曲正切的库中,并未发现这种关系。

4.2 最优模块化对神经网络记忆能力的影响

通过Jaeger(2002)开发的常见的记忆基准任务。【Short term memory in echo state networks】
在记忆任务中,研究了最优模块化对神经网络记忆能力的影响。结果发现,当网络模块化结构较强时,网络的记忆能力较差。随着模块之间的连接增强,网络的记忆性能显著改善,但当连接过于密集时,会导致性能下降。模块化会降低记忆容量,因为社区创建了信息瓶颈。然而,权重尺度(weight-scales)在ESN中能平衡这个性能。使用输入信号与延迟输出信号之间的二项分布的决定系数来量化ESN的性能。网络的记忆容量是在所有时间延迟下的这些性能之和。MC是网络的记忆容量。
image.png

4.3 记忆任务中的模块化结构对性能的影响

引入一个召回任务,在网络中输入随机生成的二进制序列,并通过网络的吸引子(Attractors)空间来存储并召回这些序列。发现模块化网络在性能上表现更好,并且在μ约为0.1时达到最佳性能。此外,模块化网络具有更多的可用吸引子,而过度互连会导致吸引子数量减少。在适度的模块化结构下,网络具有更多的可用吸引子,有利于提高网络的信息存储能力。然而,过多的连接会将各个初始状态牵扯到少数几个大吸引子中,导致性能下降。
image.png
吸引子表示网络在记忆和召回过程中所处的特定状态。吸引子提供了一种稳定的状态,使得网络可以存储和恢复信息。

5 代码

https://github.com/Nathaniel-Rodriguez/reservoirlib

6 思考

作者从多个角度去分析了模块化结构对于类脑网络ESN的影响。此外模块化结构还有助于在噪声环境、学习新技能和处理系统建模等方面提高神经网络的性能。
作者用两种方法去评价模型的记忆能力和信息存储能力,分别是MC和Attractors方法。本文比较新颖的提出了用Attractors去评价模型的记忆存储能力。MC方法适用于不依赖于具体系统模型的性能评估,而Attractors方法则适用于需要考虑系统动力学特性的性能评估。

目录
相关文章
|
2月前
|
人工智能 自然语言处理 算法
首届大模型顶会COLM 高分论文:偏好搜索算法PairS,让大模型进行文本评估更高效
【8月更文挑战第26天】在人工智能领域,尽管大型语言模型(LLMs)作为自动评估工具展现了巨大潜力,但在自然语言生成质量评估中仍存偏见问题,且难以确保一致性。为解决这一挑战,研究者开发了Pairwise-preference Search(PairS)算法,一种基于不确定性的搜索方法,通过成对比较及不确定性引导实现高效文本排名,有效减少了偏见、提升了评估效率和可解释性。PairS在多项任务中表现出色,相较于传统评分法有显著提升,为自然语言处理评估提供了新思路。更多详情参阅论文:https://arxiv.org/abs/2403.16950。
39 4
|
2月前
|
机器学习/深度学习 人工智能 资源调度
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
52 12
|
2月前
|
机器学习/深度学习 算法 计算机视觉
【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting
LwF(Learning without Forgetting)是一种机器学习方法,通过知识蒸馏损失来在训练新任务时保留旧任务的知识,无需旧任务数据,有效解决了神经网络学习新任务时可能发生的灾难性遗忘问题。
100 9
|
2月前
|
数据采集 机器学习/深度学习 算法
【python】python客户信息审计风险决策树算法分类预测(源码+数据集+论文)【独一无二】
【python】python客户信息审计风险决策树算法分类预测(源码+数据集+论文)【独一无二】
|
2月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之RWalk:Riemannian Walk for Incremental Learning Understanding
RWalk算法是一种增量学习框架,通过结合EWC++和修改版的Path Integral算法,并采用不同的采样策略存储先前任务的代表性子集,以量化和平衡遗忘和固执,实现在学习新任务的同时保留旧任务的知识。
76 3
|
2月前
|
算法 Python
【python】python基于 Q-learning 算法的迷宫游戏(源码+论文)【独一无二】
【python】python基于 Q-learning 算法的迷宫游戏(源码+论文)【独一无二】
|
5天前
|
传感器 算法 C语言
基于无线传感器网络的节点分簇算法matlab仿真
该程序对传感器网络进行分簇,考虑节点能量状态、拓扑位置及孤立节点等因素。相较于LEACH算法,本程序评估网络持续时间、节点死亡趋势及能量消耗。使用MATLAB 2022a版本运行,展示了节点能量管理优化及网络生命周期延长的效果。通过簇头管理和数据融合,实现了能量高效和网络可扩展性。
|
2天前
|
算法 数据挖掘
基于粒子群优化算法的图象聚类识别matlab仿真
该程序基于粒子群优化(PSO)算法实现图像聚类识别,能识别0~9的数字图片。在MATLAB2017B环境下运行,通过特征提取、PSO优化找到最佳聚类中心,提高识别准确性。PSO模拟鸟群捕食行为,通过粒子间的协作优化搜索过程。程序包括图片读取、特征提取、聚类分析及结果展示等步骤,实现了高效的图像识别。
|
1月前
|
算法 BI Serverless
基于鱼群算法的散热片形状优化matlab仿真
本研究利用浴盆曲线模拟空隙外形,并通过鱼群算法(FSA)优化浴盆曲线参数,以获得最佳孔隙度值及对应的R值。FSA通过模拟鱼群的聚群、避障和觅食行为,实现高效全局搜索。具体步骤包括初始化鱼群、计算适应度值、更新位置及判断终止条件。最终确定散热片的最佳形状参数。仿真结果显示该方法能显著提高优化效率。相关代码使用MATLAB 2022a实现。
|
1月前
|
算法 数据可视化
基于SSA奇异谱分析算法的时间序列趋势线提取matlab仿真
奇异谱分析(SSA)是一种基于奇异值分解(SVD)和轨迹矩阵的非线性、非参数时间序列分析方法,适用于提取趋势、周期性和噪声成分。本项目使用MATLAB 2022a版本实现从强干扰序列中提取趋势线,并通过可视化展示了原时间序列与提取的趋势分量。代码实现了滑动窗口下的奇异值分解和分组重构,适用于非线性和非平稳时间序列分析。此方法在气候变化、金融市场和生物医学信号处理等领域有广泛应用。
下一篇
无影云桌面