开发者社区> 致Great_VIP> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

机器学习(八)最小二乘法

简介: 章将从线性代数和概率论统计两个角度去分析和解释最小二乘法
+关注继续查看

1 线性代数


1.1 空间解析几何的相关定义


  • 向量:在空间几何中,称既有大小又有方向的量为向量,也叫作几何(三维)向量。
  • n维向量:n个数组成的有序数组(a1,a2,···,an)成为n维向量,这n个数称为该向量的n个分量,第i个数ai,第i个数ai称为第i个分量。n维向量简称为向量,一般用小写希腊字母如α,β,γ,···表示向量,小写英文字母ai,bi,ci(i=1,2,···,n)表示向量的分量。
  • n维向量空间
    向量的线性运算满足下面的运算规律:

1.png

所有以实数为分量的n维向量的集合,若在其中定义了向量的加法与数乘两种运算,且满足上述八条运算律,则称该向量集合为实数集R上的n维向量空间,记为Rn


1.2 最小二乘法


在定义了內积的n维向量空间Rn(成为欧式空间或内积空间)中,定义两个向量α和β的距离等于α-β的长度,记为d(α,β)=|α-β|,而且这样的距离满足三条基本性质:

  1. d(α,β)=d(β,α)
  2. d(α,β)≥0,当且仅当α=β时等号成立
  3. d(α,β)≤d(α,γ)+d(γ,β)


设W是Rn的一个子空间,它是由α12,···,αs生成的,设W=L(α12,···,αs).假设Rn中的一个向量β垂直于子空间W,就是指β垂直于W中的任何一个向量。回忆我们中学几何,我们学过一个点到一个平面或一条直线上的垂直距离最短,同样,在向量空间Rn*中,一个向量与某个子空间中各向量间的距离以“垂线”为最短。


最小二乘问题 我们知道实系数线性方程组:


2.png


可能无解,记为(5.4.1)式,也就是任何一组实数x1,x2,x2,···,xs,都可能使:


3.png


不等于零,记为(5.4.2)式我们设法找x′1,x′2,···,x′s,使得上式最小,用它作为线性方程组的近似解,这样的x′1,x′2,···,x′s成为方程组的最小二乘解,这种问题叫作最小二乘问题


下面利用欧式空间的概念来表达最小二乘法,并给出最小二乘解所满足的代数条件。令:

4.png


应用空间距离的概念,(5.4.2)式可写为|Y-B|2,最小二乘法就是找x′1,x′2,···,x′s,使Y与B的距离|Y-B|为最短,Y可以表示成A的列向量的线性组合:


5.png


把A的各列向量记为α12,···,αs,并设W=L(α12,···,αs),则Y∈W。


因此,为了找X使(5.4.2)式最小,即|Y-B|2最小,就是要在W=L(α12,···,αs)中找到一个向量Y,使得BY的距离|Y-B|比BW中其他向量的距离都短。


应用前面的讨论,如果Y=x1α1+x2α2+···+xsαs就是所求的向量,那么C=B-Y=B-AX必垂直于子空间W,那么C垂直于子空间W的充要条件是(α1,C)=(α2,C)=···=(αs,C)=0,可写成:

因此由上式可得ATC=0,即AT(B-AX)=0,或ATAX=ATB,这就是最小二乘解所满足的线性方程组,它的系数矩阵是ATA,常数项是Asup</>B.


1.2 实例


6.png


1.3 最小二乘直线


变量x和y之间最简单的关系是线性方程y=β01x,实验中数据常给出点列(x1,y1),(x2,y2),···,(xn,yn),而它们的图形近似于直线,我们希望确定参数β0和β1,使得直线尽可能“接近”这些点。


假若β0和β1固定,考虑直线y=β01x,对应于每个数据点(xi,yi),相同的x坐标下,直线上的点列为(xj01xj),我们称yi为y的观测值,β01xj为y的预测值(由直线而定),观测值和预测值的差称为余差。


如果数据点在直线上,参数β0和β1满足方程:


我们可以将上述方程写成:


7.png


当然,如果数据点不在直线上,就没有参数β0和β1使得Xβ中的预测值与观测值相等,因而Xβ=y没有解,这就是Ax=b的最小二乘解问题,只是换了种说法。


向量Xβ与y的距离的平方精确表达为余差的平方和,于是使平方和最小的β同样使y的距离最小,计算Xβ=y的最下二乘问题等价于找出β,它确定的图就是最小二乘直线。


1.4 最小二乘直线实例



8.png


9.png


(待更。。)


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
机器学习(九)基于SVM的上证指数涨跌预测
网易财经上获得的上证指数的历史数据,爬取了20年的上证指数数据。 实验目的: 根据给出当前时间前150天
150 0
基于机器学习的临床决策支持
基于机器学习的临床决策支持
46 0
机器学习—机器学习
1.机器学习简介
74 0
瞎说机器学习
我发现我真的很没有原则。。。突然想到什么就去搞什么 机器学习已经火了好几年了。现在的机器人在经过大量的数据训练后在某一方面显得跟人一样。 我队机器学习也不了解。但以我现有的知识,不觉得机器学习能以现在的思路达到大家设想的人工智能的阶段。
932 0
机器学习入门|线性回归(二)
回归函数可以选择的表示很多。但是根据奥卡姆剃刀原则,应该选择简单而又可行的回归函数。显然,如果可行,,线性函数是最简单的回归函数。
4098 0
l1约束的最小二乘学习
ℓ1\ell_{1}Constrained Least Squares In sparse learning, ℓ1\ell_{1} constrained LS, also known as Lasso Regression, is a common learning method: minθJLS(θ)s.t.∥θ∥1≤R \min_{\theta} J_{LS}(\
1015 0
l2约束的最小二乘学习法
ℓ2\ell_{2}constrained least squares In the simple least squares, noisy samples may lead to overfitting learning output. Therefore, it is rational to constrain the space of parameters. We
1925 0
机器学习之初识SVM
本文转载自知乎问题   支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。
1258 0
机器学习初窥
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
1079 0
+关注
400
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载