Machine Learning:最小二乘法数学原理及简单推导-阿里云开发者社区

开发者社区> 云计算> 正文

Machine Learning:最小二乘法数学原理及简单推导

简介: Machine Learning:最小二乘法数学原理及简单推导 假设给定一系列散列值(数据集)记为D={(x1,y1),(x2,y2),(x3,y3),,,(xn,yn)},找到一个函数y=ax+b(也可记得f(x)=ax+b)使得f(x)函数尽可能拟合D。
Machine Learning:最小二乘法数学原理及简单推导

假设给定一系列散列值(数据集)记为D={(x1,y1),(x2,y2),(x3,y3),,,(xn,yn)},找到一个函数y=ax+b(也可记得f(x)=ax+b)使得f(x)函数尽可能拟合D。求解函数f(x)的方法很多种。最小二乘法寻找拟合函数f(x)的原理和思想关键:平方差之和最小,即使得

Q最小。即求解


最小值。

因为(x1,y1),(x2,y2),,,(xn,yn)均是已知变量,问题转化为求解Q=f(a,b)的最小值,即求解(a,b)点,使得f(a,b)值极小。
使用偏导数解f(a,b)极小值:


最终整理化简后,a,b值的公式为:






其中,





即xi,yi的算术平均值。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

其他文章