开发者学堂课程【机器学习算法 ：神经网络学习规则2】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7230
神经网络学习规则2
内容介绍
一、赫布法则
二、赫布学习规则
三、赫布学习规则：例子
一、赫布法则
赫布法则( Hebb's rule) : 在《The Organization of Behavior)书中解释了学习过程中大脑中的神经细胞是如何改变和调整的，认为知识和学习发生在大脑主要是通过神经元间突触的形成与变化。当细胞A的轴突足以接近以激发细胞 B，并反复持续地对细胞B放电,一些生长过程或代谢变化将发生在某一个或这两个细胞内，以致A作为对B放电的细胞中的一个效率增加。通俗来讲就是两个神经细胞交流越多，它们连接的效率就越高，反之就越低。
MCulloch-Pitts 模型缺乏一个对人工智能而言至关重要的学习机制 ，M-P 模型很好的简化、模拟了神经元，但是无法通过学习的方式调整、优化权重, 形成有效的模型。赫布法则的出现，成为神经模型的训练(学习机制)的基础性工作。
巴甫洛夫的条件反射实验:每次给狗喂食前都先响铃,时间长，狗就会将铃声和食物联系起来。以后如果铃响但是不给食物，狗也会流口水。受此实验启发，Hebb 的 理论认为在同一时间被激发的神经元间的联系会被强化。例如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元,那么这两个神经元间的联系会被强化,从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发,那么它们之间的联系将会越来越弱。赫布规则被作为无监督神经网络的学习规则，广泛应用于自组织神经网络、竞争网络中。
二、赫布学习规则
1.赫布学习规则为前馈、无导师学习。只根据实际输入和输出调整权重。在赫布学习规则中,学习信号简单的等于神经元的输出: 
权值向量的调整公式为: 
，
为常数
权向量各个分量调整为: 
权向量的调整和输入输出的乘积成正比
2.赫布学习规则的步骤:
（1）初始化权值参数 W，一般赋于0附近的随机数
（2）初始化学习率
（3）对所有输入记录:
（4）根据输入记录，更新权重值（更新权重值公式用权向量各个分量调整公式）
三、赫布学习规则：例子
阈值：T=0，学习速率：
初始权值
输入样本：
激活函数：
,使用赫布规则训练网络。
四个输入
对应四个权值
。三个输入样本。
代入第一个样本 
计算 
：
根据第一个样本
更新
代入第二个样本
计算
根据第二个样本
更新
代入第三个样本
计算
根据第三个样本
更新
