学习:径向基(RBF)神经网络综述

简介: 学习:径向基(RBF)神经网络综述

前言


  RBF 神经网络又称径向基神经网络,是一种典型的前馈神经网络。其以函数逼近理论为基础进行构造的特点,使得与其他前馈神经网络相比具有学习速度快拟合能力强的特点,因而能很好的进行时间序列方面的预测。研究已经证明,RBF 网络是连续函数的最佳逼近,径向基函数方法在某种程度上利用了多维空间中传统的严格插值法的研究成果。



RBF 神经网络的基本思想


  用 RBF 作为隐单元的“基”构成隐含层空间,这 样就可以将输入矢量直接映射到隐空间,而不需要通过权连接,当 RBF 的中心确定 以后,这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的,即网络 的输出是隐单元输出的线性加权和,此处的权即为网络可调参数。其中,隐含层的作 用是把向量从低维度的 p 映射到高维度的 h,这样低维度线性不可分的情况到高维度 就可以变得线性可分了,主要就是核函数的思想。这样,网络由输入到输出的映射是 非线性的,而网络输出对可调参数而言却又是线性的,网络的权就可由线性方程组直 接解出,从而极大地加快学习速度并避免局部极小问题。



如何为了确定网络参数


(1) 随机选取法


  此方法是最为简单、原始的方法,同时也是效果最不理想的方法。在该方法中隐 藏层单元传递函数的中心点是在输入的样本数据中随机抽取的,而且中心点无法移动, 再确定好中心点与方差之后再进行隐藏层节点输出的计算,因此,完全可以使用方程 的形式将权重进行计算,对于简单问题可以采取此类方法。


(2) 自组织学习方法


  选取中心 以 K-means 聚类方法作为中心点选取的主要算法,该类方法中,中心点随着自组 织的学习而移动位置,输出层的线性权值则有监督学习规则计算,是一种混合的计算 方法,也是本实验采用的中心点选取方法。该方法计算简单,同时具有良好的逼近能 力,因此得到了很广泛的应用。


(3)有监督学习方法选取中心


  在此方法中,RBF 网络的中心点以及网络的其他自由参数都是通过有监督学习来 进行确定的,这也是最常见、最一般的 RBF 学习方式,例如最简单有效的梯度下降 算法,该方法的目标也十分明确:通过算法进行网络的优化,不断调整参数及权值使 得函数收敛、误差目标函数达到最小。此类算法的问题在于初始化取值难度较大,存 在着取值不合适导致的收敛过程极慢、学习成本增加、网络效率低等问题。


(4) 最小二乘法(OLS)


  选取中心 最小二乘法是 RBF 网络中另一种重要的学习方式,该方式来源于线性回归问题, 使用回归模型来表示网络的输入与输出关系。



RBF 网络学习步骤


  学习方法的 RBF 网络学习步骤大致分为两步:


1.自组织学习阶段,即无监督学习过程,此阶段用于求解隐含层基函数的中心与 方差,确定训练输入层与隐藏层间的权值。


2.有监督学习过程,此阶段用于求解隐藏层到输出层之间的权值。



相关文章
|
12天前
|
机器学习/深度学习
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
|
12天前
|
机器学习/深度学习 自然语言处理 算法
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
|
12天前
|
机器学习/深度学习
【从零开始学习深度学习】37. 深度循环神经网络与双向循环神经网络简介
【从零开始学习深度学习】37. 深度循环神经网络与双向循环神经网络简介
|
3天前
|
安全 物联网 Linux
学习Linux对网络安全的重要性
**学习Linux对网络安全至关重要:** 1. 开源操作系统广泛应用于服务器、网络设备,掌握Linux是安全专家必备技能。 2. Linux内置安全特性,如最小权限和防火墙,加上丰富的安全工具,提供强大保障。 3. 可定制性允许灵活配置,满足安全需求,开源社区提供持续更新和教育资源。 4. 学习Linux能提升攻防能力,用于系统加固和渗透测试,适应跨平台安全场景。 5. 随着云计算和物联网发展,Linux在网络安全中的角色日益关键。
27 3
|
12天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】36. 门控循环神经网络之长短期记忆网络(LSTM)介绍、Pytorch实现LSTM并进行训练预测
【从零开始学习深度学习】36. 门控循环神经网络之长短期记忆网络(LSTM)介绍、Pytorch实现LSTM并进行训练预测
|
1天前
|
网络协议
逆向学习网络篇:通过Socket建立连接并传输数据
逆向学习网络篇:通过Socket建立连接并传输数据
3 0
|
1天前
|
网络协议
逆向学习网络篇:心跳包与TCP服务器
逆向学习网络篇:心跳包与TCP服务器
2 0
|
1天前
|
存储 网络协议 网络安全
逆向学习网络篇:数据传输和交换过程
逆向学习网络篇:数据传输和交换过程
2 0
|
12天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】50.Pytorch_NLP项目实战:卷积神经网络textCNN在文本情感分类的运用
【从零开始学习深度学习】50.Pytorch_NLP项目实战:卷积神经网络textCNN在文本情感分类的运用
|
12天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】35. 门控循环神经网络之门控循环单元(gated recurrent unit,GRU)介绍、Pytorch实现GRU并进行训练预测
【从零开始学习深度学习】35. 门控循环神经网络之门控循环单元(gated recurrent unit,GRU)介绍、Pytorch实现GRU并进行训练预测

热门文章

最新文章