【博士每天一篇文献-模型】Self-organizing deep belief modular echo state network for time series

阅读时间：2023-11-8

1 介绍

年份：2021
作者：张慧艳，胡伯 ，北京工商大学人工智能学院,
期刊：
引用量：20

2 创新点

提出一个新的深度学习框架，名为自组织深度置信模块式回声状态网络（SDBMESN），用于时间序列预测问题。该框架将深度置信网络（DBN）用于深度特征提取，并与具有子储层的模块化回声状态网络（ESN）结合用于预测。所提出的框架使用自组织机制来动态调整隐藏层神经元和子储层，提高了其泛化能力。
论文启发于【 self-organizing deep belief network for nonlinear system modeling】

3 相关研究

ESN中确定其输出权重的方法包括增长修剪法和正则化方法
（1）原始法
ESN(OESN)【2004-Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication】
（2）增长修剪法
GESN【 2017-Growing echo-state network with multiple subreservoirs, 】
（3）正则化法
正则化ESN (RESN)【2009-Pruning and regularization in reservoir computing】
（4）动态调整储层
DRESN【2018- Dynamical regularized echo state network for time series predictio】
（5）组合模型
DBESN【2017-Deep belief echo-state network and its application to time series prediction】

4 模型结构

（1）模型结构

深度信念网络（DBN）中隐藏层神经元的自组织过程，基于神经元的重要性定义了神经元重要性（NSDBN(j)）。根据神经元的重要性进行神经元的分裂和剪枝阶段。具体的自组织机制如下：

• 隐藏神经元的分裂阶段：当神经元的重要性（NSDBN(j)）较高时，说明神经元在信息处理中更活跃。因此，根据给定的阈值，选择隐藏层中最活跃的神经元进行分裂。
• 子储层的增长阶段：在选择过程之后，可以直接进行子储层的增长过程。子储层的增长可以看作是两个子储层的合并。通过计算更新输出权重（Woutg）的公式，可以实现子储层的增长。

（2）训练

5 实验分析

采用的数据集三种
（1）二阶非线性系统建模【,A TSK-type recurrent fuzzy network for dynamic systems processing by neural network and genetic algorithms】
（2）太阳黑子时间序列数据集【 National Geophysical Data Center】
（3）West Falmouth Harbor的水质数据[30]

6 思考

本质就是一个将DBN+ESN的一个模型结构，创新点太low。并没有做其他的任何改进。