【博士每天一篇文献-算法】Extending stability through hierarchical clusters in Echo State Networks

简介: 本文研究了在回声状态网络(ESN)中引入分层聚类结构对网络稳定性的影响,发现通过调整簇内和簇间的连接性及每个簇的主干单元数量,可以扩展谱半径的稳定范围,从而提高网络的稳定性和性能。

阅读时间:2023-10-31

1 介绍

年份:2010
作者:Sarah Jarvis1,2* Stefan Rotter1,3 Ulrich Egert1,2
1 弗莱堡伯恩斯坦中心, 弗莱堡, 德国
2 弗莱堡大学工程学院微系统工程系生物微技术,德国弗莱堡
3 计算神经科学,生物系,弗莱堡大学,弗莱堡,德国
期刊:Frontiers in neuroinformatics
引用量:28

文章探讨了嵌入子结构对回声状态网络(Echo State Networks,简称ESN)稳定性的影响。这些网络依靠稳定的储层群体进行运行,以避免活动的累积。该研究特别关注引入分层聚类对谱半径的影响,而谱半径通常用于表示传统ESN中网络动力学的稳定性。文章解释了生成分层聚类ESN(HESN)的过程,其中包括三个新参数:簇内连通性(connintra)、簇间连通性(conninter)和每个簇的主干单元数量(bbpc)。研究发现,分层结构和相对较小的簇大小都可以扩展谱半径值的范围,从而得到稳定的网络,而增加簇间连通性会减小最大谱半径。研究表明,分层聚类的储层对谱半径的选择更加稳定,因为它们在更大范围的谱半径值下保持稳定。文章最后强调了理解储层架构如何影响稳定性对于适当设计非线性信号预测的ESN的重要性。
作者定义了具有不同连接概率和连接权重的层次聚类结构。这种层次聚类结构是通过将每个集群的前几个单元作为主干单元,并在不同集群之间建立连接来生成的。

2 创新点

(1)引入了层次聚类的 ESN(Echo State Networks)模型:论文介绍了通过在 ESN 中引入层次聚类的方法,即 Hierarchically Clustered ESN(HESN)模型。这种模型在传统的 ESN 中增加了层次结构,通过在网络中引入不同层次的集群,来提高网络的稳定性和性能。
(2)提出了新的网络参数:为了生成层次聚类的 ESN,论文引入了三个新的参数:集群内连接性(connintra)、集群间连接性(conninter)和每个集群的骨干单元数(bbpc)。这些参数的调整可以影响网络的稳定性和性能。
(3)研究了层次结构对网络稳定性的影响:论文通过实验发现,引入层次聚类结构和较小的相对集群大小可以扩展谱半径(spectral radius)的取值范围,从而提高网络的稳定性;而增加集群间连接性会降低网络的谱半径的最大值。
(4)论证了层次聚类的储层对谱半径的鲁棒性更高:论文进一步验证了层次聚类的储层在不同谱半径取值范围内都能保持稳定。这表明层次聚类的储层对于谱半径的选择更加鲁棒,能够在更大范围内保持网络的稳定性。

3 算法

image.png
有层次聚类的ESN
image.png
无层次聚类的ESN
生成层次聚类ESN的过程
(1)首先指定总储层大小R、簇数n和每个簇的背骨单元数b。
(2)然后为每个簇创建大小为R/n和连接概率conninter的簇内连接。
(3)接下来生成簇间连接矩阵。首先在每个簇中标识前b个单元作为背骨单位,然后定义一个大小为(bR/n)的矩阵,并使用连接概率conninter随机分配连接权重。储层的连接矩阵Wres通过重新缩放将最大特征值设置为定义的谱半径。

4 实验分析

ESN 的稳定性取决于多种因素的组合,包括绝对储层大小、绝对簇大小和簇数量。
image.png
研究了与储层结构相关的三个参数:储层大小R、每个簇的骨干单元数bbpc和簇间连通性conninte参数,对稳定性网络的光谱半径范围的影响,结果表明网络参数的变化对rmax值和特征值分布有明显影响。
image.png
发现层次结构对网络动态的影响大于聚类结构。增加层次结构会增加网络的最大稳态半径 rmax(表示网络稳定性的指标),而增加聚类结构对 rmax 的影响不明显。此外,我们还计算了网络的记忆容量(MC)来评估性能。实验结果显示,减少聚类数量可以增加记忆容量,而增加聚类之间的连接强度会降低记忆容量。总而言之,层次结构对网络稳定性有更大的影响,而聚类结构对网络性能的影响较小。
image.png

5 思考

利用了层次聚类的算法思想,对神经元分为几个簇。这篇论文的实验讨论部分是比较丰富的。类似的几篇论文如下:
【Modular state space of echo state network】
【Echo State Network with Hub Property】
【Extending stability through hierarchical clusters in Echo State Networks】
【A Versatile Hub Model For Efficient Information Propagation And Feature Selection】

目录
相关文章
|
3月前
|
机器学习/深度学习 人工智能 资源调度
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
74 12
|
3月前
|
机器学习/深度学习 算法 计算机视觉
【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting
LwF(Learning without Forgetting)是一种机器学习方法,通过知识蒸馏损失来在训练新任务时保留旧任务的知识,无需旧任务数据,有效解决了神经网络学习新任务时可能发生的灾难性遗忘问题。
222 9
|
3月前
|
机器学习/深度学习 算法 机器人
【博士每天一篇文献-算法】改进的PNN架构Lifelong learning with dynamically expandable networks
本文介绍了一种名为Dynamically Expandable Network(DEN)的深度神经网络架构,它能够在学习新任务的同时保持对旧任务的记忆,并通过动态扩展网络容量和选择性重训练机制,有效防止语义漂移,实现终身学习。
58 9
|
3月前
|
机器学习/深度学习 算法 文件存储
【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search
本文提出了一种名为渐进式神经架构搜索(Progressive Neural Architecture Search, PNAS)的方法,它使用顺序模型优化策略和替代模型来逐步搜索并优化卷积神经网络结构,从而提高了搜索效率并减少了训练成本。
55 9
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之HNet:Continual learning with hypernetworks
本文提出了一种基于任务条件超网络(Hypernetworks)的持续学习模型,通过超网络生成目标网络权重并结合正则化技术减少灾难性遗忘,实现有效的任务顺序学习与长期记忆保持。
45 4
|
3月前
|
机器学习/深度学习 存储 人工智能
【博士每天一篇文献-算法】改进的PNN架构Progressive learning A deep learning framework for continual learning
本文提出了一种名为“Progressive learning”的深度学习框架,通过结合课程选择、渐进式模型容量增长和剪枝机制来解决持续学习问题,有效避免了灾难性遗忘并提高了学习效率。
60 4
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之RWalk:Riemannian Walk for Incremental Learning Understanding
RWalk算法是一种增量学习框架,通过结合EWC++和修改版的Path Integral算法,并采用不同的采样策略存储先前任务的代表性子集,以量化和平衡遗忘和固执,实现在学习新任务的同时保留旧任务的知识。
87 3
|
24天前
|
算法 安全 数据安全/隐私保护
基于game-based算法的动态频谱访问matlab仿真
本算法展示了在认知无线电网络中,通过游戏理论优化动态频谱访问,提高频谱利用率和物理层安全性。程序运行效果包括负载因子、传输功率、信噪比对用户效用和保密率的影响分析。软件版本:Matlab 2022a。完整代码包含详细中文注释和操作视频。
|
9天前
|
算法 数据挖掘 数据安全/隐私保护
基于FCM模糊聚类算法的图像分割matlab仿真
本项目展示了基于模糊C均值(FCM)算法的图像分割技术。算法运行效果良好,无水印。使用MATLAB 2022a开发,提供完整代码及中文注释,附带操作步骤视频。FCM算法通过隶属度矩阵和聚类中心矩阵实现图像分割,适用于灰度和彩色图像,广泛应用于医学影像、遥感图像等领域。
|
10天前
|
算法 调度
基于遗传模拟退火混合优化算法的车间作业最优调度matlab仿真,输出甘特图
车间作业调度问题(JSSP)通过遗传算法(GA)和模拟退火算法(SA)优化多个作业在并行工作中心上的加工顺序和时间,以最小化总完成时间和机器闲置时间。MATLAB2022a版本运行测试,展示了有效性和可行性。核心程序采用作业列表表示法,结合遗传操作和模拟退火过程,提高算法性能。