【博士每天一篇文献-模型】Investigating Echo State Network Performance with Biologically-Inspired Hierarchical

简介: 本文研究了一种受果蝇生物启发的分层网络结构在回声状态网络(ESN)中的应用,通过引入层次随机块模型(HSBM)来生成具有更好结构性的网络拓扑,发现这种新拓扑结构的网络在Mackey-Glass系统预测和MNIST分类任务中表现出改善的整体解分布,从而提高了ESN的性能。

阅读时间:2023-11-4
论文名称:Investigating Echo State Network Performance with Biologically-Inspired Hierarchical Network Structure

1 介绍

年份:2022
作者:Sean L. McDaniel; Marisel Villafañe–Delgado; Erik C. Johnson 约翰·霍普金斯大学应用物理实验室
期刊:2022 International Joint Conference on Neural Networks (IJCNN)
引用量:0
探讨了使用果蝇生物启发的分层网络结构来改善回声状态网络在预测动态系统演化和分类任务中的性能。文章指出,当前的机器学习技术主要由前馈网络主导,缺乏具有递归连接或用于门控递归连接和储层计算网络的专用架构。回声状态网络作为一种的递归网络形式,相比其他递归网络需要更少的训练数据。然而,回声状态网络通常使用随机网络拓扑结构。为了解决这个问题,这篇文章引入了一种新的储层,它采用了受生物网络组织启发的层次化网络结构,引入层次随机块模型。研究表明,表现最好的网络利用了这种新的拓扑结构,并且在Mackey-Glass系统预测和MNIST分类任务中,解的整体分布得到了改善。

2 创新点

(1)引入了受生物网络组织启发的层次化网络结构的储层计算网络(reservoir computing network):通过运用层次化随机块模型生成网络拓扑结构,将储层计算网络的随机性拓展为更有结构性的网络,以提高网络性能。
(2)研究发现采用新的层次化网络拓扑的网络在Mackey-Glass系统预测和MNIST分类任务中表现最佳,改善了解决方案的整体分布。
(3)论文提出的层次化网络结构可能对多任务和多时间尺度预测有良好的适应性。
(4)进一步研究储层计算网络的结构特性对网络性能的影响,包括网络中心性、小世界性等性质。

3 相关研究

本文采用的是神经元-突触层级组织的图形模型是分层随机块模型(HSBMs)【 Community detection and classification in hierarchical stochastic blockmodels. 】,是用于模拟果蝇神经元-突触连接图的分层聚类现象的模型。

3 算法

(1)储层生成
在这一步骤中,首先构造每个图的ESN(回响态网络),使用自定义类来读取每个图的参数,如节点数量、节点之间连接的概率(连接矩阵,如下图,A是基准ESN的初始权重,B是HSBM的ESN初始权重)等。生成两组网络,分别采用不同的网络实例化方法。第一组中,使用新型HSBM(分层随机块模型)网络提取的概率分布来填充ESN的基准图。第二组中,使用相同的参数值来填充ESN的基准图,即HSBM模型对应的基准ESN具有相同的节点、谱半径、连接概率等。这样,每个HSBM模型都对应一个具有相同参数的基准ESN。
image.png
分层随机块模型(Hierarchical Stochastic Block Model, HSBM)算法步骤

  • 将N个节点分为K个块或社区,每个社区中的节点之间以概率p连接,社区之间的节点以概率q相连。这里的社区可以大小不等,不一定相等。
  • HSBM将SBM扩展为多层或多层次的块。通过添加层次结构,HSBM能够更好地描述网络的层次化组织。
  • 每个块内的节点分布是基于参数ρi来确定的,其中ρi表示分布在M个块内的节点的比例。

image.png
储层生成(A),网络结构(B)
(2)网络训练
第二步是将相应的邻接矩阵表示输入到网络中。该方法支持Networkx图的邻接矩阵,并将其转换为Torch张量。此步骤将原始储层的内部权重矩阵替换为表示图的矩阵。
(3)网络评估
第三步是对网络进行评估。可以使用NARMA-10、Mackey-Glass系列和MNIST数据集等广泛使用的基准任务来评估RC模型的性能。评估的结果可以使用NRMSE(标准化均方根误差)来衡量。

4 实验分析

(1)实验设置
评价指标:归一化均方根误差 (NRMSE) 和分类准确性
数据集:MNIST、NARMA-10、Mackey-Glass(MGS)
(2)实验结论

  • 储层权重矩阵的谱半径并不能很好地预测储层网络的性能差异
  • 对储层的邻接矩阵进行的图性分析也未能找到与性能之间的强相关性

5 思考

对于HBSM的实现,没有详细的描述。没有代码,说个屁。
以下相关论文,都是做的同一件事,就是将储层中神经元分为几个簇,而不是一个混沌的结构,翻来覆去的做,换汤不换药。
【Modular state space of echo state network】
【Echo State Network with Hub Property】
【Extending stability through hierarchical clusters in Echo State Networks】
【A Versatile Hub Model For Efficient Information Propagation And Feature Selection】
【Brain-Inspired Modular Echo State Network for EEG-Based Emotion Recognition】

目录
相关文章
|
3月前
|
移动开发 算法 数据挖掘
【博士每天一篇文献-算法】Extending stability through hierarchical clusters in Echo State Networks
本文研究了在回声状态网络(ESN)中引入分层聚类结构对网络稳定性的影响,发现通过调整簇内和簇间的连接性及每个簇的主干单元数量,可以扩展谱半径的稳定范围,从而提高网络的稳定性和性能。
30 2
|
3月前
|
机器学习/深度学习 存储 算法
【博士每天一篇文献-算法】Memory augmented echo state network for time series prediction
本文介绍了一种记忆增强的回声状态网络(MA-ESN),它通过在储层中引入线性记忆模块和非线性映射模块来平衡ESN的记忆能力和非线性映射能力,提高了时间序列预测的性能,并在多个基准数据集上展示了其优越的记忆能力和预测精度。
26 3
【博士每天一篇文献-算法】Memory augmented echo state network for time series prediction
|
3月前
|
机器学习/深度学习 人工智能 算法
【博士每天一篇论文-综述】Deep Echo State Network (DeepESN)_ A Brief Survey
本文是2017年C. Gallicchio和A. Micheli在ArXiv上发表的综述论文,详细介绍了深度回声状态网络(DeepESN)的架构、属性、动力学分析及其在时间序列预测等领域的应用,并探讨了DeepESN在处理多时间尺度信息方面的优势和潜力。
37 2
【博士每天一篇论文-综述】Deep Echo State Network (DeepESN)_ A Brief Survey
|
3月前
|
机器学习/深度学习 传感器 自然语言处理
【博士每天一篇文献-综述】A Systematic Review of Echo State Networks from Design to Application
本文系统回顾了回声状态网络(ESN)从设计到应用的全过程,探讨了其在多个领域的实际应用,并分析了不同结构的ESN模型如经典ESN、DeepESN和组合模型的性能,以及它们在时间序列预测和动态系统建模中的有效性。
46 1
【博士每天一篇文献-综述】A Systematic Review of Echo State Networks from Design to Application
|
3月前
|
算法 前端开发 数据可视化
【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications
本文综述了脑网络通信的概念、模型和应用,将脑网络通信模型分为扩散过程、参数模型和路由协议三大类,并探讨了这些模型在理解大脑功能、健康和疾病方面的应用,同时提出了未来研究方向和使用Brain Connectivity Toolbox等工具箱进行实际研究的指导。
38 1
【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】A biologically inspired dual-network memory model for reduction of catastrophic
本文介绍了一种受生物学启发的双网络记忆模型,由海马网络和新皮层网络组成,通过模拟海马CA3区的混沌行为和齿状回区的神经元更替,以及新皮层网络中的伪模式学习,有效减少了神经网络在学习新任务时的灾难性遗忘问题。
21 4
|
3月前
|
机器学习/深度学习 算法 物联网
【博士每天一篇论文-算法】Overview of Echo State Networks using Different Reservoirs and Activation Functions
本文研究了在物联网网络中应用回声状态网络(ESN)进行交通预测的不同拓扑结构,通过与SARIMA、CNN和LSTM等传统算法的比较,发现特定配置的ESN在数据速率和数据包速率预测方面表现更佳,证明了ESN在网络流量预测中的有效性。
29 4
|
3月前
|
机器学习/深度学习 存储 算法
【博士每天一篇论文-综述】Echo State Network Optimization: A Systematic Literature Review
本文综述了74篇关于Echo State Network(ESN)优化的研究文章,指出生物启发方法尤其是粒子群优化(PSO)是ESN参数优化的常用技术,探讨了ESN在不同参数和拓扑结构下的行为特性,同时识别了超参数优化、评估指标和数据集选择等方面的研究空白。
24 3
|
3月前
|
机器学习/深度学习 算法 安全
【博士每天一篇文献-综述】Machine Unlearning Taxonomy, Metrics, Applications, Challenges, and Prospects
本文综述了机器遗忘的分类、评价指标、应用场景、挑战和未来研究方向,提出了精确遗忘和近似遗忘的概念,并探讨了机器遗忘在模型优化和防御攻击中的应用,同时讨论了分布式学习环境下的遗忘挑战和解决方案。
87 5
|
3月前
|
机器学习/深度学习 算法 网络架构
【博士每天一篇文献-算法】CircuitNet:A Generic Neural Network to Realize Universal Circuit Motif Modeling
本文介绍了CircuitNet,这是一种新型神经网络,它受到神经回路结构的启发,通过使用电路基元单元(CMUs)来模拟通用电路基元,并通过调整CMU内部权重来实现建模,在多种机器学习任务中展现出优于传统前馈网络的性能。
54 3