2017-11-09 1613
输入X是个m维的向量,样本容量为P,P>m。可以看到输入数据点Xp是径向基函数φp的中心。隐藏层的作用是把向量从低维m映射到高维P,低维线性不可分的情况到高维就线性可分了。
RBF Network 通常只有三层。输入层、中间层计算输入 x 矢量与样本矢量 c 欧式距离的 Radial Basis Function (RBF) 的值,输出层算它们的线性组合。
如此可见,和普通的三层神经网络,RBF 神经网络的区别在中间层。中间层采用 RBF Kernel 对输入作非线性变换,以便输出层训练线性分类器。
那么RBF Kernel 有什么特点呢?
RBF 拥有较小的支集。针对选定的样本点,它只对样本附近的输入有反应,如下图。
T. Poggio 将 RBF 比作记忆点。与记忆样本越近,该记忆就越被激活。
有的同学看到这,也许会说:这不就是 SVM with RBF Kernel 么。 这些同学对了一半。光看模型,RBF Network 确实与 SVM with RBF kernel 无异。区别在于训练方式。
其实在深度学习出现之前,RBF神经网络就已经提出了 2-stage training。 第一阶段为非监督学习,从数据中选取记忆样本(图四中的紫色中心)。例如聚类算法可在该阶段使用。 第二阶段为监督学习,训练记忆样本与样本输出的联系。该阶段根据需要可使用 AD/BP。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。