最小二乘法-公式推导

简介: 基本思想 求出这样一些未知参数使得样本点和拟合线的总误差(距离)最小 最直观的感受如下图(图引用自知乎某作者) 而这个误差(距离)可以直接相减,但是直接相减会有正有负,相互抵消了,所以就用差的平方 推导过程 1 写出拟合方程y=a+bxy=a+bx 2 现有样本(x1,y1),(x2,y2).

基本思想

求出这样一些未知参数使得样本点和拟合线的总误差(距离)最小

最直观的感受如下图(图引用自知乎某作者)

1151103-20171116152431734-2123874788.jpg

而这个误差(距离)可以直接相减,但是直接相减会有正有负,相互抵消了,所以就用差的平方


dd0197344ddc869ba9579f30e1991f6f032e13d6

f766acd90009736698254e9b078e54eed5e529e2

推导过程

1 写出拟合方程
y=a+bxy=a+bx

2 现有样本(x1,y1),(x2,y2)...(xn,yn)(x1,y1),(x2,y2)...(xn,yn)

3 设didi为样本点到拟合线的距离,即误差
di=yi(a+bxi)di=yi−(a+bxi)

4 设DD为差方和(为什么要取平方前面已说,防止正负相互抵消)
D=i=1nd2i=i=1n(yiabxi)D=∑i=1ndi2=∑i=1n(yi−a−bxi)

5 根据一阶导数等于0,二阶大于等于0(证明略)求出未知参数
对a求一阶偏导
Da=i=1n2(yiabxi)(1) =2i=1n(yiabxi) ∂D∂a=∑i=1n2(yi−a−bxi)(−1) =−2∑i=1n(yi−a−bxi) 
=2(i=1nyii=1nabi=1nxi) =2(ny¯nanbx¯)=−2(∑i=1nyi−∑i=1na−b∑i=1nxi) =−2(ny¯−na−nbx¯)

对b求一阶偏导
Db=i=1n2(yiabxi)(xi) =2i=1n(xiyiaxibx2i) ∂D∂b=∑i=1n2(yi−a−bxi)(−xi) =−2∑i=1n(xiyi−axi−bxi2) 
=2(i=1nxiyiai=1nxibi=1nx2i) =2(i=1nxiyinax¯bi=1nx2i)=−2(∑i=1nxiyi−a∑i=1nxi−b∑i=1nxi2) =−2(∑i=1nxiyi−nax¯−b∑i=1nxi2)

令偏导等于0得
2(ny¯nanbx¯)=0−2(ny¯−na−nbx¯)=0
=>a=y¯bx¯=>a=y¯−bx¯

2(i=1nxiyinax¯bi=1nx2i)=0−2(∑i=1nxiyi−nax¯−b∑i=1nxi2)=0并将a=y¯bx¯a=y¯−bx¯带入化简得
=>i=1nxiyinx¯y¯+nbx¯2bi=1nx2i=0=>∑i=1nxiyi−nx¯y¯+nbx¯2−b∑i=1nxi2=0
=>i=1nxiyinx¯y¯=b(i=1nx2inx¯2)=>∑i=1nxiyi−nx¯y¯=b(∑i=1nxi2−nx¯2)
=>b=i=1nxiyinx¯y¯i=1nx2inx¯2=>b=∑i=1nxiyi−nx¯y¯∑i=1nxi2−nx¯2

因为i=1n(xix¯)(yiy¯)=i1n(xiyix¯yixiy¯+x¯y¯)=i=1nxiyinx¯y¯nx¯y¯+nx¯y¯∑i=1n(xi−x¯)(yi−y¯)=∑i−1n(xiyi−x¯yi−xiy¯+x¯y¯)=∑i=1nxiyi−nx¯y¯−nx¯y¯+nx¯y¯
i=1n(xix¯)2=i1n(x2i2x¯xi+x¯2)=i=1nx2i2nx¯2+nx¯2=i=1nx2inx¯2∑i=1n(xi−x¯)2=∑i−1n(xi2−2x¯xi+x¯2)=∑i=1nxi2−2nx¯2+nx¯2=∑i=1nxi2−nx¯2

所以将其带入上式得b=i=1n(xix¯)(yiy¯)i=1n(xix¯)2



目录
相关文章
|
5月前
|
机器学习/深度学习 算法 决策智能
凸优化介绍
凸优化介绍。更多文章请关注我的微信公众号:Python学习杂记
|
9月前
|
人工智能
|
9月前
曲线拟合-最小二乘法
线性最小二乘法及matlab例程
|
机器学习/深度学习 算法 搜索推荐
导数、梯度、最优化方法|学习笔记
快速学习导数、梯度、最优化方法
127 0
导数、梯度、最优化方法|学习笔记
|
机器学习/深度学习 存储 算法
导数、梯度、最优化方法|学习笔记
快速学习导数、梯度、最优化方法
199 0
导数、梯度、最优化方法|学习笔记
|
机器学习/深度学习
PRML 1.1 多项式曲线拟合
PRML 1.1 多项式曲线拟合
PRML 1.1 多项式曲线拟合
|
机器学习/深度学习 算法
|
算法 Python 机器学习/深度学习
02 回归算法 - 线性回归求解 θ(最大似然估计求解)
回顾线性回归的公式:θ是系数,X是特征,h(x) 是预测值。 h(x) = θ0 + θ1x1 + θ2x2 + … + θnxn h(x) = Σ θixi( i=0~n ) h(x) = θTX = [θ1,θ2,θ3,…,θn] * [x1,x2,x3,…,xn]T 最终要求是计算出θ的值,并选择最优的θ值构成算法公式,使预测值能够尽可能接近真实值。
1730 0