RBF网络——核心思想：把向量从低维m映射到高维P，低维线性不可分的情况到高维就线性可分了

RBF Network 通常只有三层。输入层、中间层计算输入 x 矢量与样本矢量 c 欧式距离的 Radial Basis Function (RBF) 的值，输出层算它们的线性组合。

如此可见，和普通的三层神经网络，RBF 神经网络的区别在中间层。中间层采用 RBF Kernel 对输入作非线性变换，以便输出层训练线性分类器。

那么RBF Kernel 有什么特点呢？

RBF 拥有较小的支集。针对选定的样本点，它只对样本附近的输入有反应，如下图。

T. Poggio 将 RBF 比作记忆点。与记忆样本越近，该记忆就越被激活。

有的同学看到这，也许会说：这不就是 SVM with RBF Kernel 么。
这些同学对了一半。光看模型，RBF Network 确实与 SVM with RBF kernel 无异。区别在于训练方式。

其实在深度学习出现之前，RBF神经网络就已经提出了 2-stage training。
第一阶段为非监督学习，从数据中选取记忆样本（图四中的紫色中心）。例如聚类算法可在该阶段使用。
第二阶段为监督学习，训练记忆样本与样本输出的联系。该阶段根据需要可使用 AD/BP。