【博士每天一篇论文-综述】Echo State Network Optimization: A Systematic Literature Review

简介: 本文综述了74篇关于Echo State Network(ESN)优化的研究文章,指出生物启发方法尤其是粒子群优化(PSO)是ESN参数优化的常用技术,探讨了ESN在不同参数和拓扑结构下的行为特性,同时识别了超参数优化、评估指标和数据集选择等方面的研究空白。

阅读时间:2023-11-19

1 介绍

年份:2023
作者:Soltani, Rebh, Emna Benmohamed, and Hela Ltifi. 智能机器研究小组,国家工程学院 (ENIS),斯法克斯大学
期刊: Neural Processing Letters
引用量:0

本文收集了74篇研究文章,总结了近年来关于优化Echo State Network(ESN)的相关工作,结果表明生物启发方法是最常用的参数优化技术,并指出了粒子群优化(PSO)的潜在应用。此外,研究也发现了ESN在不同参数、拓扑结构和训练技术下的行为特性,并对ESN的超参数优化、评估指标、数据集等方面存在的研究空白进行了探讨。

2 创新点

  1. 对Echo State Network(ESN)参数优化技术的研究进行了综述。
  2. 引入了生物启发式方法来调整ESN参数,如尺寸、连接率和谱半径等。
  3. 提出了应该如何选择ESN的尺寸和连接率以实现更好的性能,并说明了弱连接的优势。
  4. 谱半径作为决定ESN性能的重要参数,对其进行了优化研究,并指出了计算成本较高的问题。
  5. 粒子群优化(PSO)是一种常用的ESN优化技术,具有参数少、实现简单等优点。
  6. 文献综述发现,大多数研究都使用了四个基准问题(NARMA、Mackey Glass、Lorenz时间序列预测和短期风速)来测试ESN的学习能力。
  7. 提出了ESN优化算法的一些不足之处,包括参数过多或只针对少数有效特征进行优化的问题。
  8. 提到了内在可塑性对于改善ESN性能的潜在作用,并介绍了几种可塑性类型。
  9. 讨论了通过剪枝操作和正则化方法来优化ESN结构的策略,并指出了相关挑战。
  10. 研究指出进化计算算法在优化ESN结构方面的应用,并提出了如何进一步提高其效率的问题。
  11. 提出未来可以探索更适用于优化ESN输出权重的智能算法,以解决传统线性回归方法可能导致过拟合的问题。

3 相关研究

3.1 ESN介绍

ESN是一种强大的RNN变体,其结构包括输入层、隐藏层和输出层。ESN的学习速度快,只需训练隐藏层和输出层之间的连接权重、ESN的结构简单且具有高预测精度。ESN的隐藏层是一个大型储备层,它使用非线性函数对输入信号进行处理。通过更新储备状态和应用线性函数,ESN可以进行预测。但是由于随机生成的池依赖于定义的全局参数,ESN进行训练需要经验,这些参数必须正确定义以获得高效的结果。
ESN有三个重要参数:储层大小(reservoir size)、谱半径(spectrum Radius ,SR)、输入比例因子(Input Scaling ,IS)和稀疏度(Sparsity Degree ,SD)。储层尺寸、谱半径、输入尺度和稀疏矩阵都会显著影响回声状态网络的性能。

  • 谱半径决定了ESN的短期记忆性能,为了保持回声状态属性,谱半径应在0<SR<1的范围内。谱半径大意味着脉冲响应下降慢,相互作用扩展。
  • 输入比例因子IS决定了ESN的非线性程度。
  • 稀疏度表示存储层中神经元之间连接的比例。更高的稀疏度降低了更新库神经元状态的成本,通常的值在2%到10%之间。

3.2 ESN的研究进展

image.png
ESN的研究论文大部分研究是发表在期刊上的。其中Scicence direct的期刊检索最多,其次是IEEE的会议。
image.png
在2011年后,ESN优化算法的研究逐渐兴起,从2017年开始有了突增。
image.png
优化算法在ESN网络的应多非常多。其中的粒子群优化(PSO)方法的研究论文最多。是因为PSO计算时间短且易于编程,在ESN参数优化中表现出良好的效果。此外,还有遗传算法和进化策略等,也可以用于优化ESN参数。未来,贝叶斯优化(BO)和梯度下降算法可以作为非生物启发式技术的潜在应用。

3.3 优化ESN的方法

(1)第一种研究方向
优化了储备池大小、光谱半径、输入/输出缩放、输入/输出偏移、读出函数类型、岭回归的正则化参数、储备池激活函数、渗露率和噪声缩放。在这种情况下,参数表示可以是一个足够长的一维向量,以适应需要优化的超参数。例如[P1,P2,…,Pn],其中P为要优化的参数,n表示要优化的参数数量。

(2)第二种研究方向
集中于改进网络的拓扑结构,例如权重连接和储备池连接。在这种情况下,权重可以是一个二维二进制矩阵,其中矩阵的行和列表示神经元。例如,对于一个矩阵C,Cij表示神经元i和神经元j之间的连接。如果Cij的值为1,则表示神经元i和神经元j之间存在连接;如果Cij的值为0,则表示两者之间不存在连接。

(3)评价指标
ESN相较于其他形式的循环神经网络在单步学习方面具有显著优势。训练时仅使用Wout权重,因此ESN的训练速度通常较快。常用的目标函数包括表示ESN预测准确度:

  • Mean Absolute Error (MAE)
  • Mean Absolute Percentage Error (MAPE)
  • Mean Squared Error (MSE)
  • Root Mean Squared Error (RMSE)
  • Normalized RMSE (NRMSE)

3.3 ESN的常用数据集

(1) NARMA
是一个非线性自回归滑动平均(nonlinear autoregressive moving average)数据集,它有非常复杂的序列特性和高度的非相关性。特点是序列的复杂性不可预测,输入的误解和非相关性较高。
(2) Mackey Glass
是实际数据基准序列,它也具有非线性自回归滑动平均特性,但相比NARMA数据集更为复杂。
(3) Lorenz时间序列预测
这是一种用于ESN的基准数据集,Lorenz系统是一个非线性的方程系统,由于xy和xz项,无法通过一般的数值方法进行精确求解,只能使用近似方法进行确定。

4 思考

这篇论文对于ESN的热度、热点研究内容、常用的数据集都做了全面的调研,非常有启发性,说明ESN的研究目前还处于研究热门中。有可能是没有分析完,通过我使用VOSviewer的数据分析,目前的研究主要分为四个热门方向。可以参考我的文章http://t.csdnimg.cn/nwt8f。其中一个ESN的研究方向是研究大脑功能连接和网络,涉及脑皮层、认知、注意力、决策制定等方面,并在神经影像学、精神疾病如精神分裂症以及工作记忆等领域有所深入探讨。

目录
相关文章
|
4月前
|
算法 数据挖掘 数据处理
【博士每天一篇文献-综述】A Modified Echo State Network Model Using Non-Random Topology
本文介绍了一篇博士论文,提出了一种基于非随机拓扑结构的改进型Echo State Networks (ESN)模型,用于处理时间序列数据,通过在储层中使用复杂网络和聚类模型的拓扑结构,提高了模型性能并降低了计算成本,论文还展示了该模型在信号预测和图像分类中的应用。
46 3
【博士每天一篇文献-综述】A Modified Echo State Network Model Using Non-Random Topology
|
4月前
|
移动开发 算法 数据挖掘
【博士每天一篇文献-算法】Extending stability through hierarchical clusters in Echo State Networks
本文研究了在回声状态网络(ESN)中引入分层聚类结构对网络稳定性的影响,发现通过调整簇内和簇间的连接性及每个簇的主干单元数量,可以扩展谱半径的稳定范围,从而提高网络的稳定性和性能。
42 2
|
4月前
|
机器学习/深度学习 人工智能 算法
【博士每天一篇论文-综述】Deep Echo State Network (DeepESN)_ A Brief Survey
本文是2017年C. Gallicchio和A. Micheli在ArXiv上发表的综述论文,详细介绍了深度回声状态网络(DeepESN)的架构、属性、动力学分析及其在时间序列预测等领域的应用,并探讨了DeepESN在处理多时间尺度信息方面的优势和潜力。
90 2
【博士每天一篇论文-综述】Deep Echo State Network (DeepESN)_ A Brief Survey
|
4月前
|
机器学习/深度学习 传感器 自然语言处理
【博士每天一篇文献-综述】A Systematic Review of Echo State Networks from Design to Application
本文系统回顾了回声状态网络(ESN)从设计到应用的全过程,探讨了其在多个领域的实际应用,并分析了不同结构的ESN模型如经典ESN、DeepESN和组合模型的性能,以及它们在时间序列预测和动态系统建模中的有效性。
58 1
【博士每天一篇文献-综述】A Systematic Review of Echo State Networks from Design to Application
|
4月前
|
机器学习/深度学习 存储 算法
【博士每天一篇文献-算法】Memory augmented echo state network for time series prediction
本文介绍了一种记忆增强的回声状态网络(MA-ESN),它通过在储层中引入线性记忆模块和非线性映射模块来平衡ESN的记忆能力和非线性映射能力,提高了时间序列预测的性能,并在多个基准数据集上展示了其优越的记忆能力和预测精度。
34 3
【博士每天一篇文献-算法】Memory augmented echo state network for time series prediction
|
4月前
|
算法 前端开发 数据可视化
【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications
本文综述了脑网络通信的概念、模型和应用,将脑网络通信模型分为扩散过程、参数模型和路由协议三大类,并探讨了这些模型在理解大脑功能、健康和疾病方面的应用,同时提出了未来研究方向和使用Brain Connectivity Toolbox等工具箱进行实际研究的指导。
46 1
【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications
|
4月前
|
机器学习/深度学习 算法 数据挖掘
【博士每天一篇文献-模型】Investigating Echo State Network Performance with Biologically-Inspired Hierarchical
本文研究了一种受果蝇生物启发的分层网络结构在回声状态网络(ESN)中的应用,通过引入层次随机块模型(HSBM)来生成具有更好结构性的网络拓扑,发现这种新拓扑结构的网络在Mackey-Glass系统预测和MNIST分类任务中表现出改善的整体解分布,从而提高了ESN的性能。
31 2
|
4月前
|
机器学习/深度学习 存储 算法
【博士每天一篇论文-技术综述】Machine Learning With Echo State Networks 一篇系统讲解ESN知识的五星文章
本文是一篇技术报告,全面介绍了回声状态网络(ESNs)的数学模型、属性、意义、训练方法、深度ESN的发展、应用和局限性,并探讨了未来的研究方向,为理解ESNs在机器学习中的应用提供了系统性的综述。
79 3
|
4月前
|
机器学习/深度学习 算法 物联网
【博士每天一篇论文-算法】Overview of Echo State Networks using Different Reservoirs and Activation Functions
本文研究了在物联网网络中应用回声状态网络(ESN)进行交通预测的不同拓扑结构,通过与SARIMA、CNN和LSTM等传统算法的比较,发现特定配置的ESN在数据速率和数据包速率预测方面表现更佳,证明了ESN在网络流量预测中的有效性。
37 4
|
4月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】A biologically inspired dual-network memory model for reduction of catastrophic
本文介绍了一种受生物学启发的双网络记忆模型,由海马网络和新皮层网络组成,通过模拟海马CA3区的混沌行为和齿状回区的神经元更替,以及新皮层网络中的伪模式学习,有效减少了神经网络在学习新任务时的灾难性遗忘问题。
36 4