开发者学堂课程【神经网络概览及算法详解：对偶传播神经网络】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/40/detail/937
对偶传播神经网络
内容介绍：
一、对偶传播神经网络
二、CPN工作原理
三、CPN改进：双获胜神经元
一、对偶传播神经网络
对偶传播神经网络（Counter-Propagation Network,CPN），1987年由美国学者Robert提出，最早用来实现样本选择匹配系统，主要适合联想存储，数据压缩，分类。
网络拓扑结构：共三层，各层之间为全连接，输入层到竞争层到输出层。
拓扑结构与MOP结构完全一样，区别在于拓扑结构的隐藏型为竞争型，即为采取的学习规则不同。实际拓扑结构组成有自组织网络加卫星网络组成，既前面的输入层和竞争层为自组织网络，竞争层到输出层为外星网络。在学习规则有提到什么是内星，什么是外星。在竞争层采用竞争学习既Winner-Take-All，输出层采用Widrow-Hoff学习规则。
对偶传播神经网络与MOP的区别：直接观察网络top一样，但实际不一样，隐藏层实际为竞争层，采用竞争学习规则，学习规则不一样。与竞争神经网络也不一样，SOFM没有输出层，竞争层获胜直接输出，不存在输出层，这就是区别。上章中提到的可侯宁网络也有区别。有监督与无监督相结合的可侯宁网络，改监过的网络也不一样，为分组的，也为三层。对偶传播神经网络的CPN中间不分组，和LVQ学习向量化网络也不一样，都有区别，区别明白后，就理解为什么有这么多各种各样的神经网络。
输入层输入记作X，竞争层输出记作Y，输出层输出记作O，期望的输出记作d，输入层到竞争层的连接权重记作V，竞争层到输出层的连接权重记作W。
二、CPN工作原理
CPN网络拓扑：
第一步：有输入层接受样本的输入。
第二：竞争学习。与竞争网络最基本的模型一样，速度有多个神经元，多个神经元直接竞争，输出值最大获胜。假设y2获胜，下一步使用外星学习规则。
y2输出到输出层的个个节点，对应所对应的输出，这是外星学习规则。在输出过程中，假设竞争学习为无监督的学习，可以在第一阶段将V训练出来，V训练出来后，可以训练W，观察具体过程：
阶段一：输入层到竞争层的权重调整
初始化：给V赋初始值，将其归一化；
输入样本：输入一条记录XP，计算净输出netj=VTjX
确定获胜神经元：只有获胜有输出，其他没有。
调整获胜神经元的权重：注意新的权重等于老的权重加上学习率乘以输入与权重的差：Vj*: Vj*(t+1)= Vj*(t)+ η(t)[X- Vj*(t)]
其中η为学习速率，随时间下降（既退火函数）。调整的目的是使权向量靠近当前输入的模式，调整后重新归一化。
判断是否结束：如果η降至0或者循环次数达到约定次数T，就结束，否则继续训练。通过学习，得到输入层到竞争层权证V。接着进入第二阶段的学习。
阶段二：竞争层到输出层的权重调整
输入样本：输入样本（XP，dP），计算竞争层净输入netj=VTjX，其中V为第一阶段训练结果，V为已知既固定。
得到获胜的神经元：找到净输入最大的神经元j*，为现情况对应的y2。
调整竞争层到输出层的权重：只调整一个获胜神经元j*的外星权重Wj*，调整时根据维德洛霍夫规则: 
与take-all的差别在于学习信号，学习信号是有预期输出的，所以使用
进行调整。
其中为本层学习速率，随时间下降（退火函数）。
判断是否结束：判断是否降至0或者循环次数T或误差满足期望，通常会根据误差是否满足期望进行判断。通过这一步学习，得到竞争层到输出层的权重。
到目前为止，整个网络训练完成。首先，网络top已有，每一层学习规则已有，胜者为王，外星学习规则。对应的权重V和W训练结束，既整个网络训练完成，既可以直接使用网络应用到业务中。
三、CPN改进：双获胜神经元
CPU可进行改进，为双获胜神经元。因采用竞争学习。实际没有获胜邻域的概念，可改进为竞争层两个神经元获胜，更新两个神经元对应的权重。
对于每个输入模式，允许有两个竞争神经元获胜，既其记忆能力增强，或者网络的能力或容量更强。
例子：假设为1符号记忆，对应2，有对应关系，两个样本可通过联想记忆得到的，通常用来进行数字联想或图片联想。假设是单个获胜神经元时，为最左边图显示的状况。
假设输入为1，输出为2，即为联想记忆。
假设为双获胜神经单元，可将单个或者单个神经单元以下的进行组合，所以该记忆能力变强。如果通过神经网络进行图片的处理。
假设，将图片通过一个矩阵表示
，为三乘三的矩阵，假设有颜色记作1，无颜色记作0，全部标记后，共有9个数字表示该图片，制作神经网络时，数字只有9个，输出方式是以100100110方式输入，
期望输出为图1，对应输出值为100100100。通过这种方式可以训练网络。如果用到，可研究相关的素材。以上就是本章学习内容。
