自适应共振理论网络-1|学习笔记

开发者学堂课程【神经网络概览及算法详解：自适应共振理论网络-1】学习笔记与课程紧密联系，让用户快速学习知识

课程地址：https://developer.aliyun.com/learning/course/40/detail/938

自适应共振理论网络-1

内容介绍：

一、自适应共振网络理论网络

二、ART网络结构

三、ART网络运行原理

一、自适应共振网络理论网络

ART为自适应共振网络理论（Adaptive Resonance Theory ），1976年由美国波斯顿大学学者G.A.Carpenter提出，随后与S.Grossberg基于ART理论，提出了ART网络。

ART解决的问题既神经网络常见问题：

l 有监督学习网络：通过反复输入样本数据，更新里面的权重，使

其达到稳定记忆，再输入新样本数据继续训练，前面的训练结果会受后面数据的影响，之前有提到。

l 无监督网络学习：新样本会对已训练的聚类进行修改，从学习的

角度来理解，既新学习的知识会导致旧知识的遗忘或者对旧知识的更新。所以现在有很多类型的网络，也会考虑旧知识的保留。在更新权重时，可加入对原有权重保留的动作，考虑对旧知识的保留，但是是通过系数控制，系数非常难确定，没有一般的方法可以解决。

l 无论是无监督学习还是有监督学习，最终学习效果主要通过权重

矩阵W和网络top结构进行表达，但其包含的信息终归有限。假设想要网络记忆更强，一般会通过扩大网络规模实现，网络规模不可能无限扩大，一旦网络规模到达一定程度，是不可计算的，实现起来不现实。ART比较好的解决这类问题。

二、ART网络结构

ART网络由两层组成两个子系统，一个叫比较层C，一个叫识别层R，及三种控制信号；复位信号（Reset），逻辑控制信号（G₁，G₂）组成。这种网络结构与之前学习的网络结构不同，这种网络结构多出三个控制信号，导致该网络非常复杂，理解起来比较困难。

解释如下：

首先观察C层比较层，对于每一个C层的神经元来说，有三个输入和一个输出。三个输入：第一：外部样本输入；第二：逻辑控制信号的输入G₁，G₁可取0或者1。

来自R层的输入T，有一个输出C，C₁也会输入到R层中，因R有输入与输出就没有画C到R层里。这一部分为C层的核心部分。

R层：接收C层的输入，既C层输出的向量C会以m个B的方式输入到R层，这里记作b。右边部分为竞争层。不是所有的输出都有机会输出，每次只有一个输出会输出。

控制信号G₂对R层整体起作用。对于控制信号G₁来说，G₁是能使C层能够区分网络运行的不同阶段。观察图：

如果是网络刚开始运行，G₁的值为1。C层输出的决定，有三个输出信号，G₁，R返回信号T，外部输出X。采用投票的方式，多数获胜，既三个信号，为1或者0，终归有一个信号会有两个或者三个，占多数的信号输出为C。开始时，G₁值为1，T的值为0，因为刚开始。假设X输入为1，就有两个1，因G1为1，C等于1，等于输入。X等于0，因T等于0，有两个0，C等于X，所以网络开始运行时相当于输入开始透传到下一层。当网络开始正常运行时，G不等于1。其通过G₁的逻辑信号值，来控制网络或者区分网络运行的不同阶段，如果等于1，刚开始运行时就等于1，后面不等于1。

‘’

控制信号G₂：检测输入模式X是否等于0，等于X各分量逻辑或的值，当X全是0，既当所有输入全为0时，G₂等于0，否则G₂=1。G₁与G₂之间存在一个关系，把R层输出向量R的分量传给C的分量，记作R₀。则存在以下关系：G₁=G₂R₀。

控制信号Reset：该信号可以使R层竞争获胜的神经元无效。如果竞争获胜的神经元的输出模式和输入模式的相似程度无法达到预期的标准，就触发该信号。门限为预先设置好的值，假设输入一个X，X与所有的模式不匹配或者匹配程度都达不到门限值的要求，这时就触发控制信号Reset，既做一次Reset。

三、ART网络运行原理

网络接受新的输入后，开始检测输入和R层已有分类信息的匹配程度（竞争学习得到获胜单元）。因网络刚开始接受新输入时，G₁=1，所以X是通过C透传过来，透传到R竞争层中，在R竞争层中有一个分类被激活或有一个分类，或者有一个输出被输出，就得到一个获胜单元。

对于相似程度高的（获胜神经元），既输入肯定会有一个输出。实际上要比较这时的输入与这时的输出的相似层度能达到门限要求。假设相似程度已设定好，如果能满足这个要求，直接输出。则归于这类。就可根据该条件调整权重，既Winner-Take-All的调整方式，调整完后，如果再有相同的X输入，相似层度会更高，因为已优化过权重。

如果相似度没有超过门限，竞争获胜的那类和输入并不匹配或者匹配程度达不到要求，这时返回上一步，继续匹配，最佳匹配不上，次要模式能否匹配，还达不到要求，这时认为在当前分类中，并没有一个分类适合当前的输入。

在原有的旧知识中，并没有满足要求的，需要在输出端设立一个代表新模式的神经元，既在增加一个分类，既为旧知识的更新。