一、概述

线性回归的数据如下所示：

对于线性回归问题，假设：

                                                  图像

从几何角度出发求解线性回归问题，可以使用最小二乘估计（Least Square Estimate，LSE），而从概率角度来看也就是噪声为高斯分布的极大似然估计（Maximum Likelihood Estimate，MLE），公式为：

为了防止过拟合的问题，采用了正则化的最小二乘估计的方法，包括Lasso正则化和Ridge正则化两种方式，这种方法从概率角度来看也就是最大后验估计（Maximum a Posteriori Estimation，MAP），其噪声也是高斯分布，这里参数 的后验满足：

因此最大后验估计的公式也就是：

这里的 也就是参数 的先验，如果 服从高斯分布，则对应Lasso正则化，如果 服从拉普拉斯分布，则对应Ridge正则化。

对于上述方法的详细解释，可以参考链接：线性回归|机器学习推导系列（三） 。

上述方法都是点估计方法，而在贝叶斯线性回归中我们希望利用贝叶斯学派的方法来求解出后验概率分布 。

二、推断与预测

1. 推断

贝叶斯线性回归的推断（Inference）任务也就是求解参数 的后验分布 。首先，进行以下变换：

2. 预测