开发者学堂课程【机器学习算法 :自组织特征映射神经网络-1】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/535/detail/7245
自组织特征映射神经网络-1
内容介绍
一、自组织特征映射网 SOFM
二、Kohonen 算法
三、Kohonen 算法步骤
一、自组织特征映射网 SOFM
1981年,芬兰赫尔辛基大学的 T · Kohonen 教授提出一种自组织特征映射网( Self - Organization Feature Map , SOFM ), 又称作 Kohonen 网络。其核心思想为一个神经网络接受外界输入时,将会分为不同的对应区域,各区域对输入模式具有不同的响应特征,该过程是自动完成的。 SOFM 常见结构:
二、Kohonen 算法
Kohonen 算法类似于胜者为王算法,主要区别在于调整权向量和抑制的方式不同。胜者为王中只有获胜的唯一的神经元得到调整向量的机会,其他神经元被抑制。 Kohonen 算法对邻近神经元的影响是由中心到边缘逐渐变弱的,即邻近区域的神经元都有机会调整权向量,不过调整的程度不同。
三、Kohonen 算法步骤
1、初始化
对各参数进行初始化,包括:
对输出层各权向量赋值:赋一些小的随机数 W;
对输出层各权向量进行归一化处理 W
建立初始优胜邻域 N(0)
对学习率进行赋值 n
2、输入
从训练集输入数据,并进行归一化处理,得到 p , p €{1,2,… P }
3、得到获胜神经元
根据输入,得到当前获胜的神经元
计算 w 与 p 的点积,找到点积最大的神经元,即为获胜神经元
4、定义优胜邻域 N ( t )
以j为中心确定 t 时刻的权值调整域
一般情况下初始邻域 N (0)较大,训练过程中 N (0)随训
练时间逐渐收缩。
5、调整权值
调整优胜邻域中的所有的神经元权值
调整公式为: Wij ( t +1)= Wij ( t )+ n ( t , N )[ x - Wij ( t )]
其中, n ( t , N )表示训练时间 t 和邻域内第 j 个神经元与获胜神经元 j 之间的距离 N 的函数, n ( t , N )与 t , N 均成反比,即 n 随着时间越来越小,并且 j 神经元离获胜的神经元越远,权重变化越小。
6、是否满足退出条件
通常根据学习率 n,是否衰减到某个事先约定的阈值判断
7、训练结束