【博士每天一篇文献-算法】Echo State Network with Hub Property

简介: 本文提出了一种具有枢纽特性的回声状态网络(HESN),通过在子储层和输出层之间引入枢纽层来整合信号,从而模拟枢纽特性,旨在提高网络性能,特别是在处理时间序列预测问题时。

阅读时间:2023-11-1

1 介绍

年份:2019
作者:李凡军,济南大学数学科学学院,济南
期刊:Proceedings of 2019 Chinese Intelligent Automation Conference
引用量:1

2 创新点

通过模拟枢纽特性,本文提出了一种新的动态储层拓扑,称为具有枢纽特性的回声状态网络(ESN)(HESN)。在HESN中,使用具有多个子储层的储层,并在子储层和输出层之间的网络中添加一些神经元作为枢纽层。集线器层将子储层和输入层的输出信号进行整合,然后将这些信号反馈给子储层和输出层。所有子储层仅通过枢纽层相互通信。

3 相关研究

从数学上讲,循环神经网络(RNN)理论上可以以任意精度逼近任意非线性动力系统[ 1 ]。然而,由于局部最小值,大多数基于梯度的方法很难训练 RNN [ 2 ]。在大多数情况下,储层计算 (RC) 已被证明是训练 RNN 时基于梯度的学习算法的有效替代方案 [ 3 ]。作为最有前途的 RC 方法之一,回声状态网络(ESN)自提出以来就因其在一些基准问题上的更好性能而受到了广泛的研究[ 4 ]。
ESN 的关键部分是一个大型且稀疏连接的循环层,称为动态存储层 [ 5 ]。储层拓扑结构对ESN的性能具有重要影响。近几十年来,一些更有效的储层拓扑被提出来提高ESN的性能。小世界拓扑储层显着提高了ESN的性能[ 6 ]。具有最小复杂度的简单循环储层(SCR)通常可以获得与传统ESN相匹配的性能[ 7 ]。与随机储层相比,具有侧向抑制的解耦回波状态网络(DESN)表现出更低的泛化误差和更好的鲁棒性[ 8 ]。在一些基准问题上,带有跳转的循环库(CRJ)显示出比传统 ESN 更好的性能 [ 9 ]。具有多个子储层的不断增长的ESN会自动确定其储层大小以与给定的数据集相匹配[ 10 ]。已经证明,分层储层可以处理多个分层时间尺度和表示级别的动力学概念【Multilayered echo state machine: a novel architecture and algorithm】。更接近大脑拓扑结构的储存器已显示出更好的性能【Reservoir computing properties of neural dynamics in prefrontal cortex】。人们发现,人类功能性大脑网络中的某些区域充当枢纽,以强大的方式整合和分发信息【Network hubs in the human brain】。这些发现对于设计良好的储层很有用。

4 算法过程

一层为子储层(蓝色),另一层为枢纽层(红色)。
在HESN中,只有输出权重需要优化,其他权重在某个给定区间内随机生成。
image.png
算法:给定谱半径αi​, 稀疏性spi​和子储层规模ni​,对于第 i 个子储层0≤i≤J
步骤1:生成 J 子储层,记为 $(W_i,W_i^{in},\alpha_i,sp_i) $
步骤 2:使用训练输入信号运行所有子储层 u(n)以及枢纽层的反馈信号,采集经过初始化消除期后的子储层状态 $ x_i^n $
步骤3:用随机权重计算枢纽层的状态 $ W^h $,并将这些信号反馈给子储层;
步骤4:根据公式(10)获取输出权重 $ W^{out} $
image.png
步骤 5:在测试数据集上评估经过训练的 HESN。

5 实验分析

用到了两个数据集,分别是Mackey–Glass System、Sunspot Series。评价指标NRMSE。
image.png
image.png

6 思考

没有看明白算法实现思路。和【Modular state space of echo state network】论文的研究非常相似,即使图都差不多。也没有代码,都过去了几年了,还没有引用量。PDF文件还是需要通过学校的账号才能从springer上下载。
Echo state network with hub property.pdf

目录
相关文章
|
3月前
|
机器学习/深度学习 人工智能 资源调度
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
65 12
|
3月前
|
机器学习/深度学习 算法 计算机视觉
【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting
LwF(Learning without Forgetting)是一种机器学习方法,通过知识蒸馏损失来在训练新任务时保留旧任务的知识,无需旧任务数据,有效解决了神经网络学习新任务时可能发生的灾难性遗忘问题。
194 9
|
3月前
|
机器学习/深度学习 算法 机器人
【博士每天一篇文献-算法】改进的PNN架构Lifelong learning with dynamically expandable networks
本文介绍了一种名为Dynamically Expandable Network(DEN)的深度神经网络架构,它能够在学习新任务的同时保持对旧任务的记忆,并通过动态扩展网络容量和选择性重训练机制,有效防止语义漂移,实现终身学习。
56 9
|
3月前
|
机器学习/深度学习 算法 文件存储
【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search
本文提出了一种名为渐进式神经架构搜索(Progressive Neural Architecture Search, PNAS)的方法,它使用顺序模型优化策略和替代模型来逐步搜索并优化卷积神经网络结构,从而提高了搜索效率并减少了训练成本。
52 9
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之HNet:Continual learning with hypernetworks
本文提出了一种基于任务条件超网络(Hypernetworks)的持续学习模型,通过超网络生成目标网络权重并结合正则化技术减少灾难性遗忘,实现有效的任务顺序学习与长期记忆保持。
42 4
|
3月前
|
机器学习/深度学习 存储 人工智能
【博士每天一篇文献-算法】改进的PNN架构Progressive learning A deep learning framework for continual learning
本文提出了一种名为“Progressive learning”的深度学习框架,通过结合课程选择、渐进式模型容量增长和剪枝机制来解决持续学习问题,有效避免了灾难性遗忘并提高了学习效率。
53 4
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之RWalk:Riemannian Walk for Incremental Learning Understanding
RWalk算法是一种增量学习框架,通过结合EWC++和修改版的Path Integral算法,并采用不同的采样策略存储先前任务的代表性子集,以量化和平衡遗忘和固执,实现在学习新任务的同时保留旧任务的知识。
84 3
|
12天前
|
算法 安全 数据安全/隐私保护
基于game-based算法的动态频谱访问matlab仿真
本算法展示了在认知无线电网络中,通过游戏理论优化动态频谱访问,提高频谱利用率和物理层安全性。程序运行效果包括负载因子、传输功率、信噪比对用户效用和保密率的影响分析。软件版本:Matlab 2022a。完整代码包含详细中文注释和操作视频。
|
9天前
|
人工智能 算法 数据安全/隐私保护
基于遗传优化的SVD水印嵌入提取算法matlab仿真
该算法基于遗传优化的SVD水印嵌入与提取技术,通过遗传算法优化水印嵌入参数,提高水印的鲁棒性和隐蔽性。在MATLAB2022a环境下测试,展示了优化前后的性能对比及不同干扰下的水印提取效果。核心程序实现了SVD分解、遗传算法流程及其参数优化,有效提升了水印技术的应用价值。
|
10天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于贝叶斯优化CNN-LSTM网络的数据分类识别算法matlab仿真
本项目展示了基于贝叶斯优化(BO)的CNN-LSTM网络在数据分类中的应用。通过MATLAB 2022a实现,优化前后效果对比明显。核心代码附带中文注释和操作视频,涵盖BO、CNN、LSTM理论,特别是BO优化CNN-LSTM网络的batchsize和学习率,显著提升模型性能。