开发者学堂课程【神经网络概览及算法详解：自适应线性单元】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/40/detail/928
自适应线性单元
内容简介:
一、自适应线性单元
二、ANDLINE &感知器
三、最小均方学习规则
四、MADALINE
一、自适应线性单元
第三章自适应线性单元，是1962年教授 Widrow 提出的一种自适应可调的神经网络，神经网络的学习规则时提到的一种算法LMS，最小均方算法，又名 Widrow Hoff 算法，这个算法是由这两个人联合提出的。组成自适应可调神经网络的基本单元称为自适应性单元（Adaptive Linear Neuron ,ADALINE）。 ADALINE主要作用是线性逼近一个函数式而进行模式联想。
如上图，输出层为一组向量，或一个向量的各个分量，净输出是由各个输入值乘以权重值的和。其中最大的区别在于线性激活函数，之前所介绍的均为离散型。
自适应性单元最大的特点就是函数是线性的。我们在调节训练网络的时候，需要看实际误差，因为是线性函数，所以输出为连续值。输出值与输入值的差，称为误差。
误差作为调整整个网络参数权重值的一个标准，通过这个调节，直到误差达到可接受的范围。图中的量化函数用作对输出值的分类，将连续的输出值变为离散值这样既可以做回归分析，回归预测，也可以做分类。自适应性单元是最早用于实际工程，解决实际问题的，当时主要通过电路设计来实现，主要用于自适应滤波。滤波就好比在嘈杂的环境中说话，我们把说的话提取出来，我们需要去掉许多环境的噪声，这就是滤波的一种。主要应用，例如语音识别、天气预报、信号处理等方面。
二、ANDLINE &感知器
二者主要区别就是有以下几点：
1.激活函数不同：ADALINE 是线性函数，而感知器是阈值函数。
2.误差含义也不同：ADALINE 误差为连续的值，而感知器的误差代表对和错。
3.误差更新不同： ADALINE 在输出最终结果前根据误差更新权重，感知器在输出最终结果后更新。
4.损失函数不同：ADALINE使用均方误差SSE作为损失函数，可最小化损失函数，感知器没有损失函数。
需要注意的是：SSE为凸函数，可以微分，求解时可用梯度下降法，但数量速度较慢。
另外，输出结果ADALINE可以输出连续值或分类值，如果量化函数输出一个分类值，而感知器只能输出分类值。
三、最小均方学习规则
称作LMS，学习信号为：r=dj-wTjX
权向量调整量：Wj=η（dj-wTjX）X
权值分量调整为：Wij=η（dj-wTjX）Xi
该方法的特点就是不需要求导，速度快。
四、MADALINE
之前介绍的是单层自适应性网络，Hoff 还将 ADALINE 进行推广，推出了MADALINE即多层自适应性网络。实际上是由ADALINE 和AND 逻辑器组成的可对线性可分的数据进行划分。其中有一个问题，隐藏层的误差无法计算，因为其是多层，
因此Windrow 提出了一个需要微分的算法MRII用于解决多层网络的学习问题。
