1.算法描述
LMS(Least Mean Square), 由 Widrow 和 Hoff 于1960年提出,也称Δ规则。该算法与感知器网络的学习算法在权值调整上都基于纠错学习规则,但 LMS 更易实现,因此得到广泛应用,成为自适应滤波的标准算法。
LMS滤波器是一类能够“学习”未知传递函数的自适应滤波器。 LMS 滤波器使用一种梯度下降法,其中滤波器系数根据瞬时误差信号更新。自适应滤波器常用于通信系统、均衡器和噪声去除。
LMS过滤器由两个组件组成,如下图所示。第一个组件是一个标准的横向或FIR滤波器。第二部分是系数更新机制。LMS滤波器有两个输入信号。“输入”输入FIR滤波器,而“参考输入”对应于FIR滤波器的期望输出。即更新FIR滤波器系数,使FIR滤波器的输出与参考输入匹配。滤波器系数更新机制是基于FIR滤波器输出与参考输入之间的差值。随着滤波器的适应,这个“错误信号”趋于零。LMS处理函数接受输入和参考输入信号,生成滤波输出和误差信号。
RBF神经网络通常只有三层,即输入层、中间层和输出层。其中中间层主要计算输入x和样本矢量c(记忆样本)之间的欧式距离的Radial Basis Function (RBF)的值,输出层对其做一个线性的组合。径向基函数:
BP神经网络(使用Sigmoid激活函数)是全局逼近;RBF神经网络(使用径向基函数作为激活函数)是局部逼近;
相同点:
- RBF神经网络中对于权重的求解也可以使用BP算法求解。
不同点:
- 中间神经元类型不同(RBF:径向基函数;BP:Sigmoid函数)
- 网络层次数量不同(RBF:3层;BP:不限制)
- 运行速度的区别(RBF:快;BP:慢)
RBF神将网络是一种三层神经网络,其包括输入层、隐层、输出层。从输入空间到隐层空间的变换是非线性的,而从隐层空间到输出层空间变换是线性的。流图如下:
RBF网络的基本思想是:用RBF作为隐单元的“基”构成隐含层空间,这样就可以将输入矢量直接映射到隐空间,而不需要通过权连接。当RBF的中心点确定以后,这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的,即网络的输出是隐单元输出的线性加权和,此处的权即为网络可调参数。其中,隐含层的作用是把向量从低维度的p映射到高维度的h,这样低维度线性不可分的情况到高维度就可以变得线性可分了,主要就是核函数的思想。这样,网络由输入到输出的映射是非线性的,而网络输出对可调参数而言却又是线性的。网络的权就可由线性方程组直接解出,从而大大加快学习速度并避免局部极小问题。
2.仿真效果预览
matlab2022a仿真如下:
3.MATLAB核心程序