一、概述

将⼀维高斯分布推⼴到多变量中就得到了高斯网络，将多变量推⼴到无限维，就得到了高斯过程。高斯过程是定义在连续域（时间/空间）上的无限多个高斯随机变量所组成的随机过程。具体的形式化的定义如下：

举个例子来说，下图的时间轴（也就是定义中的连续域）代表了人的一生，这里假设人能活100岁，从这个连续域里任意取多个时刻都会对应了一个高斯随机变量：

                                          高斯过程

这里的每个随机变量可以认为是一个人在一生中这个阶段的表现值，服从一个高斯分布：

                                               高斯过程

在这个人人生的每一个阶段，如果他比较努力，他的表现可能就比均值高，如果不努力可能表现就比均值低，将每个高斯分布采样的样本点连起来就是高斯过程的一个样本：

                                                  高斯过程

二、核贝叶斯线性回归-权重空间角度

之前的贝叶斯线性回归博客：贝叶斯线性回归|机器学习推导系列（二十三）

对于线性的数据，我们可以直接应用贝叶斯线性回归的方法，而对于非线性数据，可以尝试使用核方法将低位数据扩展到高维空间，然后再应用贝叶斯线性回归。类比支持向量机的核方法，如果最后的结果只和一个核函数，也就是关于 的内积有关，那么就可以应用核方法，同样的在非线性的贝叶斯线性回归回归中，如果将数据拓展到高维空间后后验的均值和方差都只与一个核函数有关，那说明将核方法应用在贝叶斯线性回归中是可行的。

对于线性数据的预测来说，有：

对于非线性数据，要使用核方法，首先要对其进行低维到高维的非线性转换：  

上面的式子中，均值和方差都存在 ，这一项可以通过伍德伯里矩阵恒等式（Woodbury Matrix Identity）求出来，该恒等式如下：

因此这是一个核函数。

核贝叶斯线性回归也就是高斯过程回归，这个从参数 的角度进行推导的过程是高斯过程回归的权重空间角度。

三、从权重空间角度到函数空间角度

对于应用了核方法的贝叶斯线性回归，满足：

这里给定先验 满足一个高斯分布：

四、函数空间角度

而对于预测问题，我们要求的是 这个概率，其实也就是 ，也就是上面拼接起来的向量的一个条件概率分布，而求解高维高斯分布的条件概率分布的方法在高斯分布|机器学习推导系列（二）这一篇中已经推导过了，有现成的公式可以套用：

显然比起权重空间角度的方法，从函数空间角度出发更容易求解这个问题。