一、概述

假设有以下数据：

这些数据符合下图关系（以一维数据为例），

                                                        图像

二、最小二乘估计

三、线性回归的几何解释

1. 每个样本点的误差的总和

                                             误差的来源

                                                投影

四、最小二乘法与极大似然估计

可以看到最小二乘法与噪声为高斯噪声时的极大似然估计法是等价的。

五、线性回归的正则化

1. 高维小样本的问题

2. 处理过拟合的方法

面对上述过拟合的现象有一些解决方案，主要有

特征选择指的是根据某种规则去掉一些特征来实现降维；特征提取的方法例如主成分分析（PCA），也是实现降维；正则化的方法指给损失函数添加惩罚项来避免过拟合。

3. 正则化的方法

下面为L2正则化的求解过程：

六、最小二乘法与最大后验估计

1. 已知

仍然认为实际值与估计值之间的差是一个高斯噪声，

另外假设参数 服从先验分布：

可以看到正则化的最小二乘法与噪声为高斯噪声且先验也是高斯分布时的最大后验估计法是等价的。

3. 总结