4、损失函数的优化
4.1、最小二乘法
4.2、梯度下降法求解目标函数的结果
5、最小二乘法最优证明
5.1、高斯—马尔可夫定理
统计上评价模型参数估计的结果最常用的指标就是无偏性、一致性和有效性;
高斯—马尔可夫模型定理可以证明:在满足一定假设条件的情况下,以最小二乘法为评价函数计算得到的线性回归参数在所有的无偏估计中具有最优的有效性。也就是说,选取其他的评价函数虽然参数可能也是无偏的,但是它们的方差都比最小二乘的方差大。
5.2、无偏性证明
5.3、最优无偏性证明
5.4、结论
6、SKlearn实践代码(部分)
6.1、导入模块
6.2、数据集导入和切分
6.3、SKLearn函数训练数据