最小二乘法-公式推导

基本思想

求出这样一些未知参数使得样本点和拟合线的总误差（距离）最小

最直观的感受如下图（图引用自知乎某作者）

而这个误差（距离）可以直接相减，但是直接相减会有正有负，相互抵消了，所以就用差的平方

推导过程

1 写出拟合方程
y=a+bx $y=a+bx$

2 现有样本 (x1,y1),(x2,y2)...(xn,yn) $(x_1,y_1),(x_2,y_2)...(x_n,y_n)$

3 设 di $d_i$为样本点到拟合线的距离，即误差
di=yi−(a+bxi) $d_i=y_i-(a+b{x}_i)$

4 设 D $D$为差方和（为什么要取平方前面已说，防止正负相互抵消）
D=∑i=1nd2i=∑i=1n(yi−a−bxi) $D=\underset{i=1}{\overset{n}{\sum }}{d}_i^2=\underset{i=1}{\overset{n}{\sum }}(y_i-a-b{x}_i)$

5 根据一阶导数等于0，二阶大于等于0（证明略）求出未知参数
对a求一阶偏导
∂D∂a=∑i=1n2(yi−a−bxi)(−1) =−2∑i=1n(yi−a−bxi)  $\begin{array}{rlr}\frac{\mathrm{\partial }D}{\mathrm{\partial }a}& =\underset{i=1}{\overset{n}{\sum }}2(y_i-a-b{x}_i)(-1)& =-2\underset{i=1}{\overset{n}{\sum }}(y_i-a-b{x}_i)\end{array}$
=−2(∑i=1nyi−∑i=1na−b∑i=1nxi) =−2(ny¯−na−nbx¯) $\begin{array}{rlr}& =-2(\underset{i=1}{\overset{n}{\sum }}{y}_i-\underset{i=1}{\overset{n}{\sum }}a-b\underset{i=1}{\overset{n}{\sum }}{x}_i)& =-2(n\bar{y}-na-nb\bar{x})\end{array}$

对b求一阶偏导
∂D∂b=∑i=1n2(yi−a−bxi)(−xi) =−2∑i=1n(xiyi−axi−bx2i)  $\begin{array}{rlr}\frac{\mathrm{\partial }D}{\mathrm{\partial }b}& =\underset{i=1}{\overset{n}{\sum }}2(y_i-a-b{x}_i)(-x_i)& =-2\underset{i=1}{\overset{n}{\sum }}(x_i{y}_i-a{x}_i-b{x}_i^2)\end{array}$
=−2(∑i=1nxiyi−a∑i=1nxi−b∑i=1nx2i) =−2(∑i=1nxiyi−nax¯−b∑i=1nx2i) $\begin{array}{rlr}& =-2(\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i-a\underset{i=1}{\overset{n}{\sum }}{x}_i-b\underset{i=1}{\overset{n}{\sum }}{x}_i^2)& =-2(\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i-na\bar{x}-b\underset{i=1}{\overset{n}{\sum }}{x}_i^2)\end{array}$

令偏导等于0得
−2(ny¯−na−nbx¯)=0 $-2(n\bar{y}-na-nb\bar{x})=0$
=>a=y¯−bx¯ $=>a=\bar{y}-b\bar{x}$

−2(∑i=1nxiyi−nax¯−b∑i=1nx2i)=0 $-2(\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i-na\bar{x}-b\underset{i=1}{\overset{n}{\sum }}{x}_i^2)=0$并将 a=y¯−bx¯ $a=\bar{y}-b\bar{x}$带入化简得
=>∑i=1nxiyi−nx¯y¯+nbx¯2−b∑i=1nx2i=0 $=>\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i-n\bar{x}\bar{y}+nb{\bar{x}}^2-b\underset{i=1}{\overset{n}{\sum }}{x}_i^2=0$
=>∑i=1nxiyi−nx¯y¯=b(∑i=1nx2i−nx¯2) $=>\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i-n\bar{x}\bar{y}=b(\underset{i=1}{\overset{n}{\sum }}{x}_i^2-n{\bar{x}}^2)$
=>b=∑i=1nxiyi−nx¯y¯∑i=1nx2i−nx¯2 $=>b=\frac{\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i-n\bar{x}\bar{y}}{\underset{i=1}{\overset{n}{\sum }}{x}_i^2-n{\bar{x}}^2}$

因为 ∑i=1n(xi−x¯)(yi−y¯)=∑i−1n(xiyi−x¯yi−xiy¯+x¯y¯)=∑i=1nxiyi−nx¯y¯−nx¯y¯ +nx¯y¯ $\underset{i=1}{\overset{n}{\sum }}(x_i-\bar{x})(y_i-\bar{y})=\underset{i-1}{\overset{n}{\sum }}(x_i{y}_i-\bar{x}{y}_i-x_i\bar{y}+\bar{x}\bar{y})=\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i-n\bar{x}\bar{y}-\cancel{n\bar{x}\bar{y}}+\cancel{n\bar{x}\bar{y}}$
∑i=1n(xi−x¯)2=∑i−1n(x2i−2x¯xi+x¯2)=∑i=1nx2i−2nx¯2+nx¯2=∑i=1nx2i−nx¯2 $\underset{i=1}{\overset{n}{\sum }}(x_i-\bar{x}{)}^2=\underset{i-1}{\overset{n}{\sum }}(x_i^2-2\bar{x}{x}_i+{\bar{x}}^2)=\underset{i=1}{\overset{n}{\sum }}{x}_i^2-2n{\bar{x}}^2+n{\bar{x}}^2=\underset{i=1}{\overset{n}{\sum }}{x}_i^2-n{\bar{x}}^2$

所以将其带入上式得 b=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2