开发者学堂课程【人工智能必备基础:概率论与数理统计:回归直线拟合优度 】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/545/detail/7433
回归直线拟合优度
内容介绍
一、 回归直线的拟合优度
二、 显著性检验
一、 回归直线的拟合优度
一、 回归直线的拟合优度
回归直线与各观测点的接近程度称为回归直线对数据的拟合优度
总平方和(SST):
回归平方和(SSR)
残差平方和(SSE):
总平方和可以分解为回归平方和、残差平方和两部分: SST= SSR+SSE
总平方和( SST ),反映因变量的n个观察值与其均值的总离差
回归平方和 SSR 反映了 y 的总变差中,由于 x 与 y 之间的线性关系引起的 y 的变化部分
残差平方和 ISSE 反映了除了 x 对 y 的线性影响之外的其他因素对 y 变差的作用,是不能由回归直线来解释的 y 的变差部分
判定系数
回归平方和占总平方和的比例,用 R^2 表示,其值在 0 到 1 之间。
R^2 == 0: 说明y的变化与 x 无关,x 完全无助于解释y的变
R^2== 1: 说明残差平方和为 0,拟合是完全的,y 的变化只与 x 有关
二、显著性检验
显养性检验的主要目的是根据所建立的估计方程用自变量 x 来估计或预测因变量 y 的取值。当建立了估计方程后,还不能马上进行估计或预测,因为该估计方程是根据样本数据得到的,它是否真实的反映了变量 x 和 y 之间的关系,则需要通过检验后才能证实。
根据样本数据拟合回归水程时,实际上就已经假定变量 x 与 y 之间存在着线性关系,并假定误差项是一个服从正态分布的随机变量,凡具有相同的方差。但这些假设是否成立需要检验
显著性检验包括两方面:
线性关系检验
回归系数检验
线性关系检验
线性关系检验是检验自变量 x 和因变量 y 之同的线性关系是否显苦,或者说,它们之间能否用一个线性模型来表示。
将均方回归(MSR) 同均方残差 (MSE) 加以比较,应用 F 检验来分析二者之间的差别是否显著。
均方回归:回归平方和 SSR 除以相应的自由度(自变量的个数 K)
均方残差:残差平方和 SSE 除以相应的自由度( n-k-1 )
H0: β1=0 所有回归系数与零无显落差异,y 与全体 x 的线性关系不显著
计算检验统计量 F:
回归系数的显著性检验
回归系数显著性检验的目的是通过检验回归系数 β 的值与 0 是否有显著性养异,来判断 Y 与 X 之间是否有显著的线性关系,若 β=0,则总体回归方程中不含 X 项(即 Y 不随 X 变动而变动),因此,变量 Y 与 X 之间并不存在线性关系;若 β≠0,说明变量 Y 与 X 之间存在显著的线性关系。
是根据最小二乘法求出的样本统计量,服从正态分布:
的分布具有如下性质
数学期望:
标准差:
由于 σ 未知,需用其估计量 Se 来代替得到的估计标准差
计算检验的统计量:
线性关系检验与回归系数检验的区别:
线性关系的检验是检验自变量与因变量是否可以用线性来表达,而回归系数的检验是对样本数据计算的回归系数检验总体中回归系数是否为 0
在一元线性回归中,自变量只有一个,线性关系检验与回归系数检验是等价的
多元回归分析中,这两种检验的意义是不同的。线性关系检验只能用来检验总体回归关系的显著性,而回归系数检验可以对各个回归系数分别进行检验