【博士每天一篇文献-算法】Extending stability through hierarchical clusters in Echo State Networks

简介: 本文研究了在回声状态网络(ESN)中引入分层聚类结构对网络稳定性的影响,发现通过调整簇内和簇间的连接性及每个簇的主干单元数量,可以扩展谱半径的稳定范围,从而提高网络的稳定性和性能。

阅读时间:2023-10-31

1 介绍

年份:2010
作者:Sarah Jarvis1,2* Stefan Rotter1,3 Ulrich Egert1,2
1 弗莱堡伯恩斯坦中心, 弗莱堡, 德国
2 弗莱堡大学工程学院微系统工程系生物微技术,德国弗莱堡
3 计算神经科学,生物系,弗莱堡大学,弗莱堡,德国
期刊:Frontiers in neuroinformatics
引用量:28

文章探讨了嵌入子结构对回声状态网络(Echo State Networks,简称ESN)稳定性的影响。这些网络依靠稳定的储层群体进行运行,以避免活动的累积。该研究特别关注引入分层聚类对谱半径的影响,而谱半径通常用于表示传统ESN中网络动力学的稳定性。文章解释了生成分层聚类ESN(HESN)的过程,其中包括三个新参数:簇内连通性(connintra)、簇间连通性(conninter)和每个簇的主干单元数量(bbpc)。研究发现,分层结构和相对较小的簇大小都可以扩展谱半径值的范围,从而得到稳定的网络,而增加簇间连通性会减小最大谱半径。研究表明,分层聚类的储层对谱半径的选择更加稳定,因为它们在更大范围的谱半径值下保持稳定。文章最后强调了理解储层架构如何影响稳定性对于适当设计非线性信号预测的ESN的重要性。
作者定义了具有不同连接概率和连接权重的层次聚类结构。这种层次聚类结构是通过将每个集群的前几个单元作为主干单元,并在不同集群之间建立连接来生成的。

2 创新点

(1)引入了层次聚类的 ESN(Echo State Networks)模型:论文介绍了通过在 ESN 中引入层次聚类的方法,即 Hierarchically Clustered ESN(HESN)模型。这种模型在传统的 ESN 中增加了层次结构,通过在网络中引入不同层次的集群,来提高网络的稳定性和性能。
(2)提出了新的网络参数:为了生成层次聚类的 ESN,论文引入了三个新的参数:集群内连接性(connintra)、集群间连接性(conninter)和每个集群的骨干单元数(bbpc)。这些参数的调整可以影响网络的稳定性和性能。
(3)研究了层次结构对网络稳定性的影响:论文通过实验发现,引入层次聚类结构和较小的相对集群大小可以扩展谱半径(spectral radius)的取值范围,从而提高网络的稳定性;而增加集群间连接性会降低网络的谱半径的最大值。
(4)论证了层次聚类的储层对谱半径的鲁棒性更高:论文进一步验证了层次聚类的储层在不同谱半径取值范围内都能保持稳定。这表明层次聚类的储层对于谱半径的选择更加鲁棒,能够在更大范围内保持网络的稳定性。

3 算法

image.png
有层次聚类的ESN
image.png
无层次聚类的ESN
生成层次聚类ESN的过程
(1)首先指定总储层大小R、簇数n和每个簇的背骨单元数b。
(2)然后为每个簇创建大小为R/n和连接概率conninter的簇内连接。
(3)接下来生成簇间连接矩阵。首先在每个簇中标识前b个单元作为背骨单位,然后定义一个大小为(bR/n)的矩阵,并使用连接概率conninter随机分配连接权重。储层的连接矩阵Wres通过重新缩放将最大特征值设置为定义的谱半径。

4 实验分析

ESN 的稳定性取决于多种因素的组合,包括绝对储层大小、绝对簇大小和簇数量。
image.png
研究了与储层结构相关的三个参数:储层大小R、每个簇的骨干单元数bbpc和簇间连通性conninte参数,对稳定性网络的光谱半径范围的影响,结果表明网络参数的变化对rmax值和特征值分布有明显影响。
image.png
发现层次结构对网络动态的影响大于聚类结构。增加层次结构会增加网络的最大稳态半径 rmax(表示网络稳定性的指标),而增加聚类结构对 rmax 的影响不明显。此外,我们还计算了网络的记忆容量(MC)来评估性能。实验结果显示,减少聚类数量可以增加记忆容量,而增加聚类之间的连接强度会降低记忆容量。总而言之,层次结构对网络稳定性有更大的影响,而聚类结构对网络性能的影响较小。
image.png

5 思考

利用了层次聚类的算法思想,对神经元分为几个簇。这篇论文的实验讨论部分是比较丰富的。类似的几篇论文如下:
【Modular state space of echo state network】
【Echo State Network with Hub Property】
【Extending stability through hierarchical clusters in Echo State Networks】
【A Versatile Hub Model For Efficient Information Propagation And Feature Selection】

目录
相关文章
|
3月前
|
机器学习/深度学习 人工智能 资源调度
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
64 12
|
3月前
|
机器学习/深度学习 算法 计算机视觉
【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting
LwF(Learning without Forgetting)是一种机器学习方法,通过知识蒸馏损失来在训练新任务时保留旧任务的知识,无需旧任务数据,有效解决了神经网络学习新任务时可能发生的灾难性遗忘问题。
178 9
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之HNet:Continual learning with hypernetworks
本文提出了一种基于任务条件超网络(Hypernetworks)的持续学习模型,通过超网络生成目标网络权重并结合正则化技术减少灾难性遗忘,实现有效的任务顺序学习与长期记忆保持。
41 4
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之RWalk:Riemannian Walk for Incremental Learning Understanding
RWalk算法是一种增量学习框架,通过结合EWC++和修改版的Path Integral算法,并采用不同的采样策略存储先前任务的代表性子集,以量化和平衡遗忘和固执,实现在学习新任务的同时保留旧任务的知识。
83 3
|
7天前
|
算法 安全 数据安全/隐私保护
基于game-based算法的动态频谱访问matlab仿真
本算法展示了在认知无线电网络中,通过游戏理论优化动态频谱访问,提高频谱利用率和物理层安全性。程序运行效果包括负载因子、传输功率、信噪比对用户效用和保密率的影响分析。软件版本:Matlab 2022a。完整代码包含详细中文注释和操作视频。
|
26天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于MSER和HOG特征提取的SVM交通标志检测和识别算法matlab仿真
### 算法简介 1. **算法运行效果图预览**:展示算法效果,完整程序运行后无水印。 2. **算法运行软件版本**:Matlab 2017b。 3. **部分核心程序**:完整版代码包含中文注释及操作步骤视频。 4. **算法理论概述**: - **MSER**:用于检测显著区域,提取图像中稳定区域,适用于光照变化下的交通标志检测。 - **HOG特征提取**:通过计算图像小区域的梯度直方图捕捉局部纹理信息,用于物体检测。 - **SVM**:寻找最大化间隔的超平面以分类样本。 整个算法流程图见下图。
|
4天前
|
人工智能 算法 数据安全/隐私保护
基于遗传优化的SVD水印嵌入提取算法matlab仿真
该算法基于遗传优化的SVD水印嵌入与提取技术,通过遗传算法优化水印嵌入参数,提高水印的鲁棒性和隐蔽性。在MATLAB2022a环境下测试,展示了优化前后的性能对比及不同干扰下的水印提取效果。核心程序实现了SVD分解、遗传算法流程及其参数优化,有效提升了水印技术的应用价值。
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于贝叶斯优化CNN-LSTM网络的数据分类识别算法matlab仿真
本项目展示了基于贝叶斯优化(BO)的CNN-LSTM网络在数据分类中的应用。通过MATLAB 2022a实现,优化前后效果对比明显。核心代码附带中文注释和操作视频,涵盖BO、CNN、LSTM理论,特别是BO优化CNN-LSTM网络的batchsize和学习率,显著提升模型性能。
|
10天前
|
存储
基于遗传算法的智能天线最佳阵列因子计算matlab仿真
本课题探讨基于遗传算法优化智能天线阵列因子,以提升无线通信系统性能,包括信号质量、干扰抑制及定位精度。通过MATLAB2022a实现的核心程序,展示了遗传算法在寻找最优阵列因子上的应用,显著改善了天线接收功率。
|
12天前
|
监控 算法 数据安全/隐私保护
基于三帧差算法的运动目标检测系统FPGA实现,包含testbench和MATLAB辅助验证程序
本项目展示了基于FPGA与MATLAB实现的三帧差算法运动目标检测。使用Vivado 2019.2和MATLAB 2022a开发环境,通过对比连续三帧图像的像素值变化,有效识别运动区域。项目包括完整无水印的运行效果预览、详细中文注释的代码及操作步骤视频,适合学习和研究。