【博士每天一篇文献-算法】Echo State Network with Hub Property

简介: 本文提出了一种具有枢纽特性的回声状态网络(HESN),通过在子储层和输出层之间引入枢纽层来整合信号,从而模拟枢纽特性,旨在提高网络性能,特别是在处理时间序列预测问题时。

阅读时间:2023-11-1

1 介绍

年份:2019
作者:李凡军,济南大学数学科学学院,济南
期刊:Proceedings of 2019 Chinese Intelligent Automation Conference
引用量:1

2 创新点

通过模拟枢纽特性,本文提出了一种新的动态储层拓扑,称为具有枢纽特性的回声状态网络(ESN)(HESN)。在HESN中,使用具有多个子储层的储层,并在子储层和输出层之间的网络中添加一些神经元作为枢纽层。集线器层将子储层和输入层的输出信号进行整合,然后将这些信号反馈给子储层和输出层。所有子储层仅通过枢纽层相互通信。

3 相关研究

从数学上讲,循环神经网络(RNN)理论上可以以任意精度逼近任意非线性动力系统[ 1 ]。然而,由于局部最小值,大多数基于梯度的方法很难训练 RNN [ 2 ]。在大多数情况下,储层计算 (RC) 已被证明是训练 RNN 时基于梯度的学习算法的有效替代方案 [ 3 ]。作为最有前途的 RC 方法之一,回声状态网络(ESN)自提出以来就因其在一些基准问题上的更好性能而受到了广泛的研究[ 4 ]。
ESN 的关键部分是一个大型且稀疏连接的循环层,称为动态存储层 [ 5 ]。储层拓扑结构对ESN的性能具有重要影响。近几十年来,一些更有效的储层拓扑被提出来提高ESN的性能。小世界拓扑储层显着提高了ESN的性能[ 6 ]。具有最小复杂度的简单循环储层(SCR)通常可以获得与传统ESN相匹配的性能[ 7 ]。与随机储层相比,具有侧向抑制的解耦回波状态网络(DESN)表现出更低的泛化误差和更好的鲁棒性[ 8 ]。在一些基准问题上,带有跳转的循环库(CRJ)显示出比传统 ESN 更好的性能 [ 9 ]。具有多个子储层的不断增长的ESN会自动确定其储层大小以与给定的数据集相匹配[ 10 ]。已经证明,分层储层可以处理多个分层时间尺度和表示级别的动力学概念【Multilayered echo state machine: a novel architecture and algorithm】。更接近大脑拓扑结构的储存器已显示出更好的性能【Reservoir computing properties of neural dynamics in prefrontal cortex】。人们发现,人类功能性大脑网络中的某些区域充当枢纽,以强大的方式整合和分发信息【Network hubs in the human brain】。这些发现对于设计良好的储层很有用。

4 算法过程

一层为子储层(蓝色),另一层为枢纽层(红色)。
在HESN中,只有输出权重需要优化,其他权重在某个给定区间内随机生成。
image.png
算法:给定谱半径αi​, 稀疏性spi​和子储层规模ni​,对于第 i 个子储层0≤i≤J
步骤1:生成 J 子储层,记为 $(W_i,W_i^{in},\alpha_i,sp_i) $
步骤 2:使用训练输入信号运行所有子储层 u(n)以及枢纽层的反馈信号,采集经过初始化消除期后的子储层状态 $ x_i^n $
步骤3:用随机权重计算枢纽层的状态 $ W^h $,并将这些信号反馈给子储层;
步骤4:根据公式(10)获取输出权重 $ W^{out} $
image.png
步骤 5:在测试数据集上评估经过训练的 HESN。

5 实验分析

用到了两个数据集,分别是Mackey–Glass System、Sunspot Series。评价指标NRMSE。
image.png
image.png

6 思考

没有看明白算法实现思路。和【Modular state space of echo state network】论文的研究非常相似,即使图都差不多。也没有代码,都过去了几年了,还没有引用量。PDF文件还是需要通过学校的账号才能从springer上下载。
Echo state network with hub property.pdf

目录
相关文章
|
3月前
|
机器学习/深度学习 人工智能 资源调度
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
74 12
|
3月前
|
机器学习/深度学习 算法 计算机视觉
【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting
LwF(Learning without Forgetting)是一种机器学习方法,通过知识蒸馏损失来在训练新任务时保留旧任务的知识,无需旧任务数据,有效解决了神经网络学习新任务时可能发生的灾难性遗忘问题。
222 9
|
3月前
|
机器学习/深度学习 算法 机器人
【博士每天一篇文献-算法】改进的PNN架构Lifelong learning with dynamically expandable networks
本文介绍了一种名为Dynamically Expandable Network(DEN)的深度神经网络架构,它能够在学习新任务的同时保持对旧任务的记忆,并通过动态扩展网络容量和选择性重训练机制,有效防止语义漂移,实现终身学习。
58 9
|
3月前
|
机器学习/深度学习 算法 文件存储
【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search
本文提出了一种名为渐进式神经架构搜索(Progressive Neural Architecture Search, PNAS)的方法,它使用顺序模型优化策略和替代模型来逐步搜索并优化卷积神经网络结构,从而提高了搜索效率并减少了训练成本。
55 9
|
3月前
|
机器学习/深度学习 算法
【博士每天一篇文献-算法】Adult neurogenesis acts as a neural regularizer
本文研究了成人神经发生(adult neurogenesis)在大脑学习过程中的作用,发现其作为一种神经调节器能提高学习泛化能力,并通过在卷积神经网络(CNN)中模拟神经发生,证明了其作为正则化手段与传统技术一样有效,甚至在某些方面更优。
27 6
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】Fearnet Brain-inspired model for incremental learning
本文介绍了FearNet,一种受大脑记忆机制启发的神经网络模型,用于解决增量学习中的灾难性遗忘问题。FearNet不存储先前的例子,而是使用由海马体复合体和内侧前额叶皮层启发的双记忆系统,以及一个受基底外侧杏仁核启发的模块来决定使用哪个记忆系统进行回忆,有效减轻了灾难性遗忘,且在多个数据集上取得了优异的性能。
30 6
|
3月前
|
机器学习/深度学习 存储 开发框架
【博士每天一篇文献-算法】NICE Neurogenesis Inspired Contextual Encoding for Replay-free Class Incremental Learn
NICE(Neurogenesis Inspired Contextual Encoding)是一种新型深度神经网络架构,旨在通过模拟生物神经系统的成熟过程来解决类别增量学习中的灾难性遗忘问题,无需重放旧样本即可实现有效的增量学习。
50 5
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】连续学习算法之HNet:Continual learning with hypernetworks
本文提出了一种基于任务条件超网络(Hypernetworks)的持续学习模型,通过超网络生成目标网络权重并结合正则化技术减少灾难性遗忘,实现有效的任务顺序学习与长期记忆保持。
45 4
|
3月前
|
机器学习/深度学习 存储 人工智能
【博士每天一篇文献-算法】改进的PNN架构Progressive learning A deep learning framework for continual learning
本文提出了一种名为“Progressive learning”的深度学习框架,通过结合课程选择、渐进式模型容量增长和剪枝机制来解决持续学习问题,有效避免了灾难性遗忘并提高了学习效率。
60 4
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】A biologically inspired dual-network memory model for reduction of catastrophic
本文介绍了一种受生物学启发的双网络记忆模型,由海马网络和新皮层网络组成,通过模拟海马CA3区的混沌行为和齿状回区的神经元更替,以及新皮层网络中的伪模式学习,有效减少了神经网络在学习新任务时的灾难性遗忘问题。
30 4