开发者学堂课程【神经网络概览及算法详解：自组织特征映射神经网络-1】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/40/detail/934
自组织特征映射神经网络-1
内容介绍：
一、自组织特征映射神经网络SOFM
二、Kohonen算法
三、Kohonen算法步骤
一、自组织特征映射神经网络SOFM
自组织特征映射神经网络叫SOFM（Self -Organization Feature Map）。是八一年的时候，芬兰赫尔辛基大学的这个教授叫托尼沃科普尼 T·Kohonen 提出来的，所以这个网络就被叫做克霍宁网络，而核心思想是一个神经网络接受外界输入刺激的时候，会把c刺激输入到接口上不同的对应区域，然后每一个输入都会映射到输出的某一个区域里去。它的依据就是依据输入的不同特征，这个过程是自动完成的，它的常见结构就是下边这两个图，
一个是线阵，二维的时候就变成了一个平面阵，它会映射到一个平面上去，平面被分成了不同的小的区域，输入的样本，终归会被映射到一个小的区域里边去。
二、Kohonen算法
克霍宁的这个网络的这个学习算法，它类似于胜者为王的算法，主要区别在于调整权向量和抑制的方式不一样，对于调整权向量，我们胜者为王中只有获胜的唯一的神经元得到一个输出机会，也就是它可以调整向量其他的神经元，其他的的神经元没有机会，克霍宁不一样，科霍宁算法，以获胜这个神经元为中心辐射一个邻域，可以把它周围的和它连接的这个神经元也得到一个输出的机会，它的这些的这个权重，也可以得到一些调整。但是它的影响，是由中心到边缘逐渐变弱的，就是输出最大值的那个神经元，它的调整是最大的，以它为中心，往它的周围这个调整权重的时候，是逐渐变弱的，而它，是通过这个绝活函数来实现的，另外还有一个是抑制，就他考虑的抑制，中间这个激活了，可能对它周围有一些负影响，它是按照这种，
激活
抑制
图三
中间一个输出最大的这个样本，那么它在调整全向量的时候调整的最大，以它为中心往边缘位置是逐渐变弱的，另外还考虑抑制抑制，当中间激活了之后，对它周围的神经元有一定的抑制。考虑激活和抑制后把这两个叠加在一块，就是图三，如果是在多维空间里，可以看到它的曲线映射出来如图所示，
看上去像一个墨西哥帽，所以这种激活函数也叫墨西哥帽。对应到邻域里，实际上它在调整权度时，每一个样本输入之后，竞争到一个竞争获胜的神经单元，神经元对它的影响，是对它的权重的影响，是由中间到边缘逐渐变弱的，这中间红点，调整的最大，随着颜色的变淡，调整的量也是越来越小，按照从中间到边缘的方式，对应到平面儿阵里，可能每次样本输入都会有不同的，获胜的竞争神经元，对权重的调整，或者说对权重影响的范围也不一样。
这还有另外一种，方方正正的，趋势由中间到边缘去修改它的权重，这种叫做大礼帽，第二种最简单就是把中间激活，激活的时候，它对权重的调整是一样的，这种叫做厨师帽。
对应到领域图里边来，就是大礼帽，它中间红颜色的调整的程度是一样的，从中间到边缘外边这一侧，它调整的量就变小了，但实际上，外圈的调整量也都是一样的，有一定的比重。右下角一个单独的红圈就是厨师帽。
三、Kohonen算法步骤
克霍宁网络算法的第一步是初始化，对各种参数进行初始化，比如说输出成各权向的这个赋值赋一些小的随机数对数。对输出成各权向量进行规划处理，进行一个规划，然后建立初始优胜邻域。获胜的时候，邻域怎么来选，辐射范围是多少，怎么衰减等等，然后对学习率进行复制，学习率，就是在更新权重的时候，η或α乘以X-W，这个地方的α和η就叫做学习率。
第二步，是输入，从训练集中输入数据，数据要进行一些规划处理，有了输入之后，根据现有的权重去计算它的输出，计算哪个竞争层哪个神经末，神经元它自己的输出算的时候，直接算权重与这个输入的点积，如果找一个最大的神经元，它就是获胜神经元，它会有输出机会。
接着，要定义优胜领域，获胜的神经元即最大的这个神经元找到之后，要圈出一个范围来。然后一般情况下，初始的领域它会比较大，训练过程中领域，随着训练时间会逐渐收缩，所以它自适应的一个体现的一个点，那接着就开始调整权值，调整这个领域中所有的神经元的权值调整公式，
新的权值等于老的权值加上学习率乘以X，这个时候的学习率，它表示，n(tN)训练时间t和邻域内第j个神经元与获胜神经元j之间的距离N的函数，就简单的来讲，输出最大的那个神经元，它的调整和往边缘扩展，调整的参数是不一样的，要通过这个函数来体现，中间可能调整的最大，最边缘，可能调整的最小，所以，这个η它与T和n是成反比的，也就是说η随着时间越来越小，并且这个η它本身是会变的，然后并且j神经元离获胜的这个j*神经元远越远它的权重变化越小。注意η是受两个因素的影响来变化的，一个和中间获胜的神经元的距离，第二个时间随着时间的推移，η也在变化，这就体现出自适应来了。
要判断是否满足退出条件。通常，是根据学习率是否衰减到某个时间约定的阀值来判断，因为这个学习率它是一直在衰减的，所以你如何选择一个合适的学习率函数，是非常重要的一件事。
如果没有，那就接着去执行上边的步骤，如果达到了，那我们就选择结束这个训练。
