开发者学堂课程【机器学习算法 ：神经网络学习规则5】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7233
神经网络学习规则5
内容介绍
一、最小均方学习规则
二、相关学习规则
三、赫布学习规则
四、竞争学习 & 胜者为王
五、外星学习规则
一、最小均方学习规则
1962年 Bernard Widrow 和 Marcian Hoff 提出了 Widrow-Hoff 学习规则,它可以使神经元实际输出和期望输出之间的二次方的差最小,所以又称为最小均方学习规则( Least-Mean-Square, LMS)。
LMS 规则的学习信号为: 
（期望输出-实际输出的值，并且这里的实际输出为净输出,无激活函数）
权向量调整量为： 
权值分量调整为： 
最小均方算法是 δ 学习规则的特例，其激活函数不同于δ学习规则，不做任何变换：
将公式一中 W 权向量调整量代入 E 中求偏导，用 δ 学习规则再代回上面的公式，会得到相同的调整公式，这说明了最小均方算法 δ 学习规则的特例。
最小均方算法和 δ 学习规则相比，无需求导数，学习速度快，且有不错的精度。
二、相关学习规则
相关学习规则的学习信号为: 
(直接将期望输出当做学习信号)
权向量调整量为: 
权值分量调整为: 
，i=1,2…,n
三、赫布学习规则:
在该学习规则中，学习信号等于神经元的期望输出与实际输出之差:
权值调整公式为: 
权向量各个分量调整为: 
，i=1,2…,n3
相关学习规则从权值调整上来看，是赫布学习规则的一个特例:当赫布规则的激活函数为二进制函数且有
时,二者一致。
相关学习规则是有导师学习,赫布规则是无导师学习。
四、竞争学习 & 胜者为王
1、竞争学习
竞争学习( Competition Learning )是人工神经网络的一种学习方式，指网络单元群体中所有单元相互竞争对外界刺激模式响应的权利。竞争取胜的单元的连接权重向着对这一刺激有利的方向变化 ，相对来说竞争取胜的单元抑制了竞争失败单元对刺激模式的响应。属于自适应学习,使网络单元具有选择接受外界刺激模式的特性。竞争学习的更一般形式是不仅允许单个胜者出现，而是允许多个胜者出现，学习发生在胜者集合中各单元的连接权重上。
2、胜者为王学习规则
胜者为王学习规则( Winner- Take-A//) : 无导师学习.将网络的某一层设置为竞争层 .对于输入 X 竞争层的所有P个神经元均有输出响应，响应值最大的神经元在竞争中获胜，即: 
获胜的神经元才有权调整其权向量
,调整量为: 
,随着学习而减小在竞争学习过程中,竞争层的各神经元所对应的权向量逐渐调整为输入样本空间的聚类中心。
在实际应用中，通常会定义以获胜神经元为中心的邻域，所在邻域内的所有神经元都进行权重调整。
3、例子
输入
，
，
，
，
,初始权重为：
,学习率
首先将输入样本 X 及初始权重 W 归一化，
并将其在一个单位圆上绘制出来。
蓝点为
，黑点为
，
五个红点为输入样本。
对每个样本计算不同神经元的响应值：
对于样本
,计算神经元1输出：
计算神经元2输出：
对于样本
，神经元1胜出，更新权重：
对于样本
,神经元1输出：
神经元2输出：
对于样本
,神经元2胜出，更新权重：
对于样本
神经元1输出：
神经元2输出：
对于样本
神经元1胜出，更新权重：
对于样本
,神经元1输出：
神经元2输出：
对于样本
,神经元2胜出，更新权重：
对于样本
,神经元1输出：
神经元2输出：
对于样本
,神经元1胜出，更新权重：
五、外星学习规则
内星节点:总是接收其他神经元输入的加权信号，是信号的汇聚点,其对应的权值向量称作内星权向量。
外星节点:总是向其他神经元输出加权信号,是信号的发散点,其对应的权值向量称作外星权向量。
1、内星学习规则:内星节点的输出响应是输入 X 和内星权向量 W 的点积，描述了输入与权向量的相似程度,其更新规则类似于胜者为王：
2、外星学习规则:属于有导师学习，其目的是为了生成一个期望的 m 维输出向量 d ,外星权向量
更新通过两者的差异实现，其规则为: 
两者的更新规则:
（1）内星属于无导师学习,外星属于有导师学习
（2）内星更新依赖于输入和权重的差异，外星更新依赖于输出和权重的差异
