阅读时间：2023-11-23
1 介绍
年份：2023
作者： Arroyo, Diana Carolina Roca，数学与计算机科学研究所（ICMC）圣保罗大学 (USP)
期刊： 博士论文
引用量：0
这篇论文是一篇博士论文，提出了基于非随机拓扑结构的Echo State Networks (ESN)模型，用于处理时间/序列数据。文档探讨了利用复杂网络模型和聚类模型作为储层中的非随机拓扑结构，以更好地捕捉不同类训练数据的信息。其中，储层基于复杂网络的连接性拓扑结构包括随机网络、无标度网络和小世界网络。聚类模型包括K均值、基于中心点的分割和Ward算法。提出的模型在性能和计算成本方面优于经典ESN。该论文还展示了所提出模型在信号预测和图像中组织成分分类等方面的应用。第一个应用，两个预测任务Rössler和Lorenz系统。第二个应用，应用于人体组织医学图像分类问题。
2 创新点
（1）利用非随机拓扑的修改后的回声状态网络模型：作者通过复杂网络模型和聚类模型提出了新的回声状态网络（ESN）模型，用于处理时间/序列数据。在储层中利用非随机拓扑结构，包括随机网络、无标度网络和小世界网络，以更好地捕捉不同类别训练数据的信息。为了生成聚类的储层，提出使用经典的数据聚类算法：K均值、围绕中位数的分区和Ward算法来模拟社区结构。同时也生成了聚类的无标度网络和小世界网络作为储层。
（2）性能提升和计算成本降低：相比传统ESN模型，所提出的模型在性能上表现更好，并具有更低的计算成本。该论文展示了所提出模型在信号预测和图像组织成分分类中的应用。
3 相关研究
（1）随机网络
随机网络是一种具有N个节点，并且节点之间的连接是随机建立的网络结构。根据两种定义，随机网络分为G(N,L)模型和G(N, p)模型。在G(N,L)模型中，N个标记的节点通过L个随机放置的连接相连。而在G(N, p)模型中，每对N个标记的节点以概率p连接。随机网络的生成过程源自对节点之间的链接随机性设置，这种网络结构在时间序列分析及数据处理中扮演着关键的角色。
（2）无标度网络(Scaled free)
无标度网络是一种特殊类型的复杂网络，其特点是网络中存在少量的高度节点和大量的低度节点。在无标度网络中，节点的度分布遵循幂律规律，即符合pk ∼ k−λ的表达式。这意味着网络中连接k个节点的节点的比例与k的幂指数λ相关。通常情况下，λ的取值范围为2 < λ < 3。无标度网络的一个显著特征是存在“中心枢纽”，即具有高度连接度的节点，它们更有可能连接到其他节点，而非连接到度较低的节点。
无标度网络可以通过增长和优先连接机制生成，即网络在持续增长过程中趋向于连接到更多连接的节点，不同于随机网络的固定节点数和节点间随机连接的机制e。无标度网络的生成中，从m0个初始节点开始，这些节点最初是随机连接的，每个节点至少有一条连接。随后，在每个时间步骤中，新节点添加到网络中，通过优先连接机制决定将其m（m ≤ m0）条连接连接到网络中的其他节点。新节点更有可能连接到连接度更高的节点，即中心枢纽，而非度较低或少连接节点。
（3）小世界网络
小世界网络是一种网络结构，其特点是任意两个节点之间的平均距离很短，这也被称为六度分隔理论。该网络的构建方法是最初让网络中的节点仅与它们的邻居相连，然后随机改变一小部分连接，从而形成小世界网络。数学上，小世界网络的性质表明，在一个N个节点的网络中，每对节点之间的平均距离d与N成正比，而不是N或N的幂次方。这意味着网络的平均路径长度或直径对网络的大小的依赖呈对数关系。
（4）聚类复杂网络
聚类复杂网络是指一种网络结构，其中节点之间形成了紧密连接的子网络，不同子网络之间的连接相对稀疏。根据Newman（2010）的说法，通常有两种通用技术将网络分成不同的组或簇：图分区和社区检测算法。图分区的目的在于将网络中的节点分成一定数量的大小相等且无重叠的簇，同时使得簇间的边数量最小化。而社区检测的目的是找到一种自然的方式将网络分割。簇的大小并不是固定或预先确定的，可以在不同簇之间差异很大（Newman, 2010）。 给定网络可以分成几个大的簇，许多小的簇，或者是各种不同大小的混合。总的来说，图分区旨在找到底层网络中节点的最佳分割，而社区检测技术通常提供高效但次优的解决方案。
采用的聚类算法有Kmeans、K-methods、Ward层次聚类算法。
4 算法
在本文中考虑了两种结构：复杂网络和聚类网络。为了生成储层中神经元之间的连接拓扑结构，需要生成邻接矩阵，该矩阵确定神经元之间的连接方式。因此，一旦生成了邻接矩阵，就可以通过为先前建立的连接分配权重（值），来获得储层矩阵（权重矩阵）。
4.1 复杂网络
（1）基于无标度配置的拓扑结构：获得储备矩阵所需的邻接矩阵是通过生成一个无标度图来实现的。首先，初始化一个具有m0个节点的节点图，最初，它们会随机连接，直到每个节点至少有一个链接。然后，在每个时间步长，会添加一个新节点，该节点决定使用优先连接（即具有较高度）的m个节点（m < m0）连接到哪里。为了实现，使用Networkx模块生成一个Barabási-Albert图。
（2）基于小世界配置的拓扑结构：获得储备矩阵所需的邻接矩阵是通过生成一个小世界图来实现的。最初，创建一个具有n个节点的环。然后，将环中的每个节点与其k个最近邻连接（如果k为奇数，则为k-1个最近邻）。为了引入小世界特性，根据以下规则替换一些边：对于具有k个最近邻的基础环中的每个边u-v，以概率p替换为一个新边u-w，其中现有节点w是均匀随机选择的。为了实现，使用Networkx模块生成一个Watts Strogatz小世界图。
4.2 基于聚类的网络
使用了三种聚类算法：K-Means，K-methods和Ward，来生成集群拓扑结构
5 实验分析
（1）时间序列预测任务
从结果中我们可以观察到，总体来说，所研究的所有参数都对所提出模型的性能产生影响。具体来说，在两种情况下，可以看到小α值对记忆能力有影响，如图a和b所示。可以看到通过解决从储存器状态矩阵和目标训练集获得的线性回归的训练过程适用于小β值（β ≤ 图c和d。最后，图e和f显示了在模型中拟合偏差可以提高预测性能。根据表现，模型性能关于参数的选择取决于数据的性质。根据所获得的所有结果，可以确认储存器内的聚类改善了ESN模型的性能。
（2）分类任务
- 在具有聚类拓扑结构的储层中，随着聚类数的增加，模型表现更佳。
- 对于不同数据集，使用2个和16个聚类在储层中实现ESN模型的分类准确率进行了比较，结果表明使用更多聚类时，模型性能更好。
- 内存容量参数，即leak rate α，控制了储层中利用前一状态信息的程度，在实验中发现较大的α值（接近于1）对模型性能有积极影响。
- 对于岭参数β的研究显示，模型训练通过解决线性回归任务，适合使用较小的β值（β ≤ 1）。
6 思考
从储层拓扑结构的角度，进行改进。并应用到多种任务，在每个任务下对超参数进行了对比。工作量较大，但是创新点一般。这几种拓扑结构的ESN都已经存在的。
