最小二乘法推导与求解 | 学习笔记

开发者学堂课程【人工智能必备基础：概率论与数理统计：最小二乘法推导与求解】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/545/detail/7431

最小二乘法推导与求解

内容介绍

一、 误差

二、参数的最小二乘法估计

一、误差

预测值与误差:

（1）由于误差服从高斯分布:

（2）将(1)式带入(2)式:

似然函数:

解释:什么样的参数跟我们的数据组合后恰好是真实值

对数似然:

解释:乘法难解，加法就容易了，对数里面乘法可以转换成加法

展开化简：

目标：让似然函数（对数变换也一样）越大越好

（最小二乘法）

二、参数的最小二乘法估计

对于回归直线，关键在于求解参数，常用高斯提出的最小二乘法，它是使因变量的观察值 y 与估计值之间的离差平方和达到最小来求解

展开可得：

求偏导可得：

求解：