【博士每天一篇论文-算法】Overview of Echo State Networks using Different Reservoirs and Activation Functions

简介: 本文研究了在物联网网络中应用回声状态网络(ESN)进行交通预测的不同拓扑结构,通过与SARIMA、CNN和LSTM等传统算法的比较,发现特定配置的ESN在数据速率和数据包速率预测方面表现更佳,证明了ESN在网络流量预测中的有效性。

阅读时间:2023-11-20

1 介绍

年份:2021
作者:Dan-Andrei Margin,Virgil Dobrota,克卢日纳波卡技术大学
期刊: 2021 20th RoEduNet Conference: Networking in Education and Research (RoEduNet)
引用量:2

这篇论文主要关注在物联网(IoT)网络中使用回声状态网络(Echo State Networks,ESN)进行交通预测。作者强调网络需要不断调整网络参数,因为大量数据通过互联网并且网络变化动态。论文概述了循环神经网络(Recurrent Neural Networks,RNN)和储层计算(Reservoir Computing)的概述,重点介绍了ESN作为一种特定类型。论文提出并研究了三种不同的ESN拓扑结构,并将它们在交通预测中与季节性自回归移动平均(Seasonal Autoregressive Moving Average,SARIMA)、卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆(Long-Short Term Memory,LSTM)等经典算法的性能进行了比较。在数据速率预测方面,表现最佳的配置是由扩展储层和岭回归读取组成的配置。它使用了一个50x50的神经元矩阵,使用Sigmoid激活函数。在数据包速率方面,60%稀疏性水平的稀疏正交矩阵模型表现更好。作者得出结论,所提出的ESN配置比经典的预测算法产生更好的结果。

2 创新点

  1. 引入了Echo State Networks (ESN)用于IoT网络流量预测,为网络动态调整网络参数提供了一种方法。
  2. 提出并比较了三种不同拓扑结构的ESN,并将它们与传统算法(如Seasonal Autoregressive Moving Average (SARIMA)、Convolutional Neural Networks (CNN)和Long-Short Term Memory (LSTM))在流量预测上进行了性能对比分析。
  3. 在数据速率预测方面,提出50 x 50神经元矩阵、使用Sigmoid激活函数的Extended Reservoir和Ridge Regression readout结构表现最好。在数据包速率预测方面,稀疏正交矩阵(Sparse Orthogonal Matrix)模型在60%稀疏程度上表现最佳。
  4. 实验结果显示,提出的ESN配置比传统的预测算法具有更好的性能,包括更低的均方根误差(RMSE)和训练/预测时间。

3 算法

(1)储层网络
储层网络包含了基于稀疏正交矩阵(Sparse Orthogonal Matrix,SORM)模型、时延线储层(Delay Line Reservoir,DLR)和扩展储层(Extended Reservoir,ER)。
(2)输出模型部分
读取模型包括岭回归(Ridge Regression,RR)和贝叶斯回归(Bayes Regression,BR)

4 实验分析

通过对比RMSE、训练时间和预测时间等指标,确定了最适合网络流量预测的ESN配置。实验结果显示,所有ESN配置较传统模型(如LSTM、CNN、SARIMA)表现更好,具有更低的RMSE、训练时间和预测时间。在长期预测方面,扩展储层结合岭回归读取模型在数据速率预测方面表现最佳,而SORM储层在60%的稀疏度水平下在包速率预测方面表现较好。
截屏2024-01-21 下午5.13.48.png
所有ESN网络参数都可能影响预测结果,其中激活函数(适用于所有网络)和密度系数(仅用于SORM矩阵)有更高的权重,在所有三个激活函数中,Sigmoid的RMSE最低。
总结是储层计算在一维向量数据集预测方面是一种很好的方法,其结果明显优于经典算法。

5 思考

论文讨论了ESN与回归网络组合,形成的网络结构组合,得出的结论是储层计算在一维向量数据集预测方面优于经典算法。做了非常多的实验,对比了不同的参数组合,得出了一个最佳的组合网络。
可以借鉴的是,做了三种不同拓扑结构的ESN网络。
以为是一篇综述论文,题目写了overview,论文里是算法,质量一般。

目录
打赏
0
4
4
0
147
分享
相关文章
调研180多篇论文,这篇综述终于把大模型做算法设计理清了
《A Systematic Survey on Large Language Models for Algorithm Design》综述了过去三年大型语言模型(LLMs)在算法设计中的应用。LLMs通过自然语言处理技术,助力生成、优化和验证算法,在优化、机器学习、数学推理等领域展现出广泛应用前景。尽管存在资源需求高、结果不确定等挑战,LLMs仍为算法设计带来新机遇。论文地址:https://arxiv.org/abs/2410.14716。
88 14
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-16
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-16
30 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-16
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-12(上)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-12(上)
42 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-12(上)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(下)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(下)
64 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(上)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-23(上)
45 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-21(下)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-21(下)
49 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-21(上)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-21(上)
40 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-20(下)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-20(下)
38 0
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-20(上)
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-20(上)
46 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等