【博士每天一篇论文-算法】Collective Behavior of a Small-World Recurrent Neural System With Scale-Free Distrib

简介: 本文介绍了一种新型的尺度无标度高聚类回声状态网络(SHESN)模型,该模型通过模拟生物神经系统的特性,如小世界现象和无标度分布,显著提高了逼近复杂非线性动力学系统的能力,并在Mackey-Glass动态系统和激光时间序列预测等问题上展示了其优越的性能。

阅读时间:2023-11-11
标题:Collective Behavior of a Small-World Recurrent Neural System With Scale-Free Distribution

1 介绍

年份:2007
作者:邓志东 计算机科学与技术系北京国家信息科学技术研究中心 (BNRist),智能技术与系统国家重点实验室,清华大学人工智能研究院(THUAI),清华大学
期刊: IEEE Transactions on neural networks
引用量:138

提出名为SHESN的网络模型,是一种具有自相似和高聚类特征的拓展型ESN网络,它是一个小世界递归神经系统的状态储库的无标度高聚类扩展。该模型具有短特征路径长度、高聚类系数、无标度分布、分层和分布式架构等特性。

2 创新点

(1)提出了一个新的状态储备模型——尺度无标度高聚类回声状态网络(SHESN)。该模型包含了特征路径长度短、聚类系数高、尺度无标度分布和分层分布式架构等特点。
(2)通过研究该复杂网络模型的集体行为,将其应用于Mackey-Glass动态系统和激光时间序列预测等问题,并与传统的回声状态网络(ESN)进行了比较。结果表明,SHESN模型在逼近高度复杂的非线性动力学方面具有显著的改进,并具有更强的回声状态性能。
(3)论文强调了SHESN反映了生物神经系统的自然特性,如幂律、小世界性和分层结构。
(4)该研究探索了在ESN模型的状态储备中引入各种复杂性来提高其逼近能力的可能性。
(5)提出的SHESN模型在建模和预测非线性动态系统方面显示出了良好的结果。

3 相关研究

作者的启发来源:具有小世界效应或无标度分布的神经网络模型在记忆容量、时间和同步方面表现出色。采用了波士顿大学代表性互联网拓扑生成器(BRITE)模型的基本思想。【On the origin of power laws in internet topologies】

4 算法

image.png
SHESN由三层组成:输入层、一个新的状态储备层(或隐藏的动态层)和输出层。新的状态储备层通过递增生长生成,具有自然演化特征,包括节点度的无标度或幂律分布、高聚类系数、短特征路径长度和分层分布结构。
自然生长模型的SHESN储层的生成大致包括以下六个步骤:
1)初始化一个状态储层的网格平面。
2)在网格平面上放置主干神经元,然后在主干神经元之间建立突触连接。
3)在网格平面上添加一个新的局部神经元。
4)使用局部优先连接规则为新添加的局部神经元生成突触连接。
5)重复3)和4)这些步骤对于每个新的局部神经元。
6)生成一个储层权重矩阵,以满足回响状态特性。
在生成新的状态储层的过程中,使用了一些自然生长规则和优先连接规则来保证储层具有小世界和无标度特性。这些规则的实现包括了选择合适的初始拓扑结构、使用固定集合的主干神经元并在其之间建立突触连接,以及使用局部优先连接规则为新的局部神经元生成突触连接。

5 实验分析

(1)数据集
Mackey-Glass
Laser Time-Series Prediction
(2)实验分析

image.png
1000个内部神经元按照增量方式放置在300×300的网格平面上,结果形成了十个明显的簇或领域。说明自然演化储库的网络拓扑在不同层次上具有空间层次分布的结构
image.png
十个领域的平均特征路径长度和聚集系数

小世界现象:平均特征路径长度和聚集系数评价。平均特征路径长度和聚集系数用于表征复杂网络拓扑的小世界现象。SHESN的新储层具有较短的平均特征路径长度和较高的聚集系数。
image.png
激光时间序列的NRMSE测试误差与谱半径之间的关系
储层连接权矩阵的谱半径必须小于1,ESN才具有回声状态属性。而SHESN模型允许更宽的频谱半径范围,从而改善了回波状态的特性。在MG系统上的实验结果和激光时间序列预测表明,当谱半径大于1时,ESN变得不稳定,而当谱半径达到6.0时,SHESN仍然保持稳定,增强了回声状态属性。
image.png
对于MG动力系统,时间延迟越大,系统的非线性就越严重。在MG系统中,当时间延迟大于25时,就会出现混沌的时间序列。随着时间延迟增加到26及以上,SHESN比ESN更具近似非线性动力学的能力。
image.png
SHESN的特征值谱具有幂律分布的特点,而ESN的特征值谱则相对均匀。这表明SHESN拥有更好的特征值分布,能够更好地逼近高度复杂的非线性动力学系统。对于SHESN,特征值谱的幅值越大,只有很少的特征值会超过单位圆,大部分特征值幅值较小并迅速下降。这些小幅值的特征值会占据主导地位,决定了系统的全局收敛性。通过对特征值谱的研究,可以更好地理解ESN和SHESN的性能和逼近能力。特征值谱的幅值分布对于确定系统的稳定性和收敛性都有重要作用。

6 思考

这篇论文的创新点重点在改进ESN网络中储层生成过程算法,通过这种算法生成的储层后,反过来对储层进行可视化和数据分析,得出结论是具有小世界特性的。在实验分析中用特征值谱来评价储层的模型稳定性和收敛性,比较新颖的角度。

目录
相关文章
这个AI把arXiv变成代码工厂,快速复现顶会算法!Paper2Code:AI论文自动转代码神器,多智能体框架颠覆科研复现
Paper2Code是由韩国科学技术院与DeepAuto.ai联合开发的多智能体框架,通过规划、分析和代码生成三阶段流程,将机器学习论文自动转化为可执行代码仓库,显著提升科研复现效率。
50 18
这个AI把arXiv变成代码工厂,快速复现顶会算法!Paper2Code:AI论文自动转代码神器,多智能体框架颠覆科研复现
调研180多篇论文,这篇综述终于把大模型做算法设计理清了
《A Systematic Survey on Large Language Models for Algorithm Design》综述了过去三年大型语言模型(LLMs)在算法设计中的应用。LLMs通过自然语言处理技术,助力生成、优化和验证算法,在优化、机器学习、数学推理等领域展现出广泛应用前景。尽管存在资源需求高、结果不确定等挑战,LLMs仍为算法设计带来新机遇。论文地址:https://arxiv.org/abs/2410.14716。
160 14
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(下)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(下)
93 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(上)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(上)
72 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-21(下)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-21(下)
71 0
基于和声搜索优化算法的机器工作调度matlab仿真,输出甘特图
本程序基于和声搜索优化算法(Harmony Search, HS),实现机器工作调度的MATLAB仿真,输出甘特图展示调度结果。算法通过模拟音乐家即兴演奏寻找最佳和声的过程,优化任务在不同机器上的执行顺序,以最小化完成时间和最大化资源利用率为目标。程序适用于MATLAB 2022A版本,运行后无水印。核心参数包括和声记忆大小(HMS)等,适应度函数用于建模优化目标。附带完整代码与运行结果展示。
基于AES的遥感图像加密算法matlab仿真
本程序基于MATLAB 2022a实现,采用AES算法对遥感图像进行加密与解密。主要步骤包括:将彩色图像灰度化并重置大小为256×256像素,通过AES的字节替换、行移位、列混合及轮密钥加等操作完成加密,随后进行解密并验证图像质量(如PSNR值)。实验结果展示了原图、加密图和解密图,分析了图像直方图、相关性及熵的变化,确保加密安全性与解密后图像质量。该方法适用于保护遥感图像中的敏感信息,在军事、环境监测等领域具有重要应用价值。
基于免疫算法的最优物流仓储点选址方案MATLAB仿真
本程序基于免疫算法实现物流仓储点选址优化,并通过MATLAB 2022A仿真展示结果。核心代码包括收敛曲线绘制、最优派送路线规划及可视化。算法模拟生物免疫系统,通过多样性生成、亲和力评价、选择、克隆、变异和抑制机制,高效搜索最优解。解决了物流仓储点选址这一复杂多目标优化问题,显著提升物流效率与服务质量。附完整无水印运行结果图示。
基于免疫算法的最优物流仓储点选址方案MATLAB仿真
基于GA遗传优化TCN-GRU时间卷积神经网络时间序列预测算法matlab仿真
本项目基于MATLAB2022a开发,提供无水印算法运行效果预览及核心程序(含详细中文注释与操作视频)。通过结合时间卷积神经网络(TCN)和遗传算法(GA),实现复杂非线性时间序列的高精度预测。TCN利用因果卷积层与残差连接提取时间特征,GA优化超参数(如卷积核大小、层数等),显著提升模型性能。项目涵盖理论概述、程序代码及完整实现流程,适用于金融、气象、工业等领域的时间序列预测任务。
基于遗传优化算法的多AGV栅格地图路径规划matlab仿真
本程序基于遗传优化算法实现多AGV栅格地图路径规划的MATLAB仿真(测试版本:MATLAB2022A)。支持单个及多个AGV路径规划,输出路径结果与收敛曲线。核心程序代码完整,无水印。算法适用于现代工业与物流场景,通过模拟自然进化机制(选择、交叉、变异)解决复杂环境下的路径优化问题,有效提升效率并避免碰撞。适合学习研究多AGV系统路径规划技术。