自适应共振网络理论-2|学习笔记

开发者学堂课程【神经网络概览及算法详解：自适应共振网络理论-2】学习笔记与课程紧密联系，让用户快速学习知识

课程地址：https://developer.aliyun.com/learning/course/40/detail/939

自适应共振网络理论-2

 

内容介绍：

一、ART 网络运行原理

二、ART 网络学习算法

三、ART 网络特点

 

一、ART 网络运行原理

1. 第一阶段：匹配阶段

在没有输入前网络处在等待模式，此时输入端信号为 x=0 ，当输入不全为 0 的 X 时， G₁=1 允许输入模式直接从 C 层通过并前向传至 R 层，与 R 层神经元对应的所用内星权向量 B_j 进行匹配计算:

示意图如下：

选择具有最大匹配度(即上述点积最大的)的竞争获胜单元:

使获胜神经元输入 r_j^*=1 ，其他神经元输出为0

2. 第二阶段:比较阶段

使得 R 层获胜神经元所连接的外星权向量 T_j^* 激活，从获胜神经元 j^*发出 n 个权值信号返回到 C 层的 n 个神经元。 R 层输出不全为0，则 C 层的输出取决于 R 层的外星权向量与 C 层的输入 x 的比较结果。 R 层的外星权向量是 R 层输出模式的典型向量，该结果反映了在匹配 R 层竞争排名第一的典型向量与输入向量X的相似度。

R 层获胜了，它输出的时候不是一个值，它会通过这个外星权限量输出一系列的值，即 X  有几个输入，它就会输出几个到每一个输入层的这个神经元上来，每一个 T 和 X 去比较。这个时候可以用上方公式算它的相似度，即有多少分量是相似的相等的。

由于 X 为二进制数， N 实际上表示获胜神经元的类别模式与输入模式样本相同分量同时为1的个数。如果这个值它能达到一个我们的要求，即相似度。

记输入样本中的非零分量为：

则有输入模式与模式典型向量的相似度为: N₀/N₁ 预先设定好的相似度的门限值是一个取值在0-1之间的数 ρ ，用 N₀/N₁ 与 ρ 相比:

若 N₀/N₁<ρ ：表明输入模式 x 与典型向量 T_j^* 相似度不够，发出Reset信号，本次匹配失败，进入搜索阶段

若 N₀/N₁≥ρ ：表明输入模式x与典型向量 T_j^* 非常相似，称两者发生共振，本阶段结束，进入学习阶段，这也是  ART  这个原理的名字的来历。

3. 第三阶段：搜索阶段

比较阶段结束后，根据匹配相似度和门限值的比较，进入不同阶段。如果相似度低于门限值，进入搜索阶段；如果相似度高于门限值，则进入学习阶段。

网络发出 Reset 信号后，进入搜索阶段。 Reset 信号起到重置的作用，使前面通过竞争获胜的神经元受到抑制，并且在后续过程中持续受到抑制，直到输入一个新的模式为止。（即原来获胜的那个神经元作废了，只要是同一个样本再来学习，它还是作废掉的）由于 R 层输出受到抑制即 R₀=0 ，同时控制信号 G 也被重置为 1:G₁=1 ,网络重新回到开始时的匹配状态。由于上次获胜的神经元被抑制，因此此次匹配获胜的单元，一定是上次排名第二的神经元。接下来进入比较阶段，将该神经元对应的外星权向量 t_j^* 与输入向量 X 进行相似度计算。如果达到预设门限相似度 ρ ，则进入下一阶段:学习阶段。如果依然未达到预设门限，继续进行搜索阶段的工作。

如果所有的输出模式均遍历过后，仍然找到匹配度达标的模式，则表明:当前输出模式中，并无和当前输入向量匹配的记录，即当前输入向量，无类可分。需要在 R 层的输出层增加一个神经元来代表并存储该新类的的模式：将其内星权向量 B_j^* 设计为当前输入模式向量，外星权向量 T_j^* 各分量全部设置为1。即新增了一个神经元之后，需要对它进行一个初始化，那么内星权限量 B 就成为这个当前输入的模式的向量，外星权限量 T 各分量了个设成 1 就初始化了。刚才不达标的地方已经处理完毕，有可能去找次优的，有可能去新增一个类。

4. 第四阶段:学习阶段

比较阶段结束后，根据匹配相似度和门限值的比较，进入不同阶段。如果相似度低于门限值，进入搜索阶段;如果相似度高于门限值，则进入学习阶段

当输入模式和典型向量的相似度达到预先设定的门限值ρ后(即发生了共振)，进入学习阶段。学习阶段主要对发生共振的获胜神经元对应的模式类加强学习，使以后出现与该模式相似的输入后，能够得到更大的相似度。外星权向量 T_j^* 和内星权向量 B_j^* 在运行阶段进行调整，以进一步强化记忆。经过学习后，对样本的记忆将留在两组全限量中，即使输入样本改变，权值依旧存在，因此称作长期记忆。

当以后再输入的样本，类似于已经记忆的样本时，这两组长期记忆将R 层输出回忆到记忆样本的状态。

 

二． ART 网络学习算法

ART 具体的网络算法

1.网络初始化

C层到 R 层的权重连接(内星权向量)  B_ij 赋予相同的较小的数值：

，

R层到 C 层的权重连接(外星权向量) T_ij 赋予相同的值为1相似性门限值 ρ 设置一个初始值，取值在0-1之间。

注意:初始值对最终结果影响较大， B_ij 的设置可以让输入向量能够收敛到其应属类别而不会随意增加新的类别信息;

T_ij 的设置可以对模式进行相似性测量时能正确计算其相似性; ρ 的设置会影响最终的分类精度（就如果 ρ 设置的很高，那它会导致各种的比较大，就输出类别比较多，那如果 ρ 设置的比较低，那就会导致会有很多误分的。）

2.输入向量到网络

给定输入模式 X=(x₁x₂…x_n) ，其中个分量的取值为二进制数:0或1

3.计算匹配度

对 R 层所有内星权向量 B_j 计算输入模式 x 的匹配度：

4.找到当前最佳匹配单元

对 R 层有效输出神经元集合中选择竞争获胜的最佳匹配神经元 j^* 使其输出为1，其余为 0:r_j^*=1 ，其余有 r_j=0

5.计算相似度

R 层获胜神经元 j^* 通过外星权向量送回存储模式类的典型向量 T_j^* ，C 层输出信号给出对向量 T_j^* 和 X 的比较结果 c_i=t_ij^* ，两者的相似度为:

6.门限相似度检验

将上述计算得到的输入模式和典型向量的相似度，和预先设置的门限相似度 ρ 比较，如果小于 ρ ，则开始搜索模式放弃当前获胜单元，重新寻找最佳匹配，进入反复循环(第四步)。如果没有，增加输出节点，并设置其内外星权向量。

7.调整网络权值

修改 R 层神经元 j* 对应的权向量，内外权向量学习规则不同

外星权向量修改公式:

内星权向量修改公式:

三． ART 网络特点

ART 具体的网络算法:

1.非离线学习，即不是对输入集样本反复训练后才开始运行，而是采用了边学习边运行的方式。（最大的特点就是如果一个样本输入样本在目前分类中没有相似度达标的，就会新增一个）

2.每个输入样本，都被看成一类相近样本的代表，每次最多只有一个类别输出为1。

3.当输入样本距某一个内星权向量较近(由门限值 ρ 决定)时，代表它的输出神经元才会响应。

4.门限值影响到最终的分类精度，换言之，门限值 ρ 越小分类个数越少，反之分类越多。

5.只能处理输入类型为二进制或者双极型的情况， ART 还有两个扩展类型:

√ARTII :是ARTI的扩展形式，可以处理连续模拟信号。

√ARTIII :分级搜索模型，兼容 ARTI 与 ARTII 两种结构功能，并能将两层神经网络扩大为任意多层神经网络。