回归直线拟合优度 | 学习笔记

简介: 快速学习回归直线拟合优度

开发者学堂课程【人工智能必备基础:概率论与数理统计:回归直线拟合优度 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/545/detail/7433


回归直线拟合优度

内容介绍

一、 回归直线的拟合优度

二、 显著性检验

一、 回归直线的拟合优度

一、 回归直线的拟合优度

回归直线与各观测点的接近程度称为回归直线对数据的拟合优度

总平方和(SST):

image.png

回归平方和(SSR)

image.png

残差平方和(SSE):

image.png

总平方和可以分解为回归平方和、残差平方和两部分: SST= SSR+SSE

总平方和( SST ),反映因变量的n个观察值与其均值的总离差

回归平方和 SSR 反映了 y 的总变差中,由于 x 与 y 之间的线性关系引起的 y 的变化部分

残差平方和 ISSE 反映了除了 x 对 y 的线性影响之外的其他因素对 y 变差的作用,是不能由回归直线来解释的 y 的变差部分

判定系数

回归平方和占总平方和的比例,用 R^2 表示,其值在 0 到 1 之间。

R^2 == 0: 说明y的变化与 x 无关,x 完全无助于解释y的变

R^2== 1: 说明残差平方和为 0,拟合是完全的,y 的变化只与 x 有关

 image.png

image.png

 

二、显著性检验

显养性检验的主要目的是根据所建立的估计方程用自变量 x 来估计或预测因变量 y 的取值。当建立了估计方程后,还不能马上进行估计或预测,因为该估计方程是根据样本数据得到的,它是否真实的反映了变量 x 和 y 之间的关系,则需要通过检验后才能证实。
根据样本数据拟合回归水程时,实际上就已经假定变量 x 与 y 之间存在着线性关系,并假定误差项是一个服从正态分布的随机变量,凡具有相同的方差。但这些假设是否成立需要检验
显著性检验包括两方面:

线性关系检验

回归系数检验
线性关系检验
线性关系检验是检验自变量 x 和因变量 y 之同的线性关系是否显苦,或者说,它们之间能否用一个线性模型来表示。

将均方回归(MSR) 同均方残差 (MSE) 加以比较,应用 F 检验来分析二者之间的差别是否显著。

均方回归:回归平方和 SSR 除以相应的自由度(自变量的个数 K)

均方残差:残差平方和 SSE 除以相应的自由度( n-k-1 )
H0: β1=0 所有回归系数与零无显落差异,y 与全体 x 的线性关系不显著

计算检验统计量 F:

image.png

回归系数的显著性检验
回归系数显著性检验的目的是通过检验回归系数 β 的值与 0 是否有显著性养异,来判断 Y 与 X 之间是否有显著的线性关系,若 β=0,则总体回归方程中不含 X 项(即 Y 不随 X 变动而变动),因此,变量 Y 与 X 之间并不存在线性关系;若 β≠0,说明变量 Y 与 X 之间存在显著的线性关系。
image.png是根据最小二乘法求出的样本统计量,服从正态分布:

image.png

image.png的分布具有如下性质

数学期望:image.png

标准差:image.png

由于 σ 未知,需用其估计量 Se 来代替得到image.png的估计标准差

image.png

计算检验的统计量:

image.png

线性关系检验与回归系数检验的区别:
线性关系的检验是检验自变量与因变量是否可以用线性来表达,而回归系数的检验是对样本数据计算的回归系数检验总体中回归系数是否为 0

在一元线性回归中,自变量只有一个,线性关系检验与回归系数检验是等价的

多元回归分析中,这两种检验的意义是不同的。线性关系检验只能用来检验总体回归关系的显著性,而回归系数检验可以对各个回归系数分别进行检验

相关文章
|
5月前
|
机器学习/深度学习 数据可视化 Python
Logistic回归(一)
这篇内容是一个关于逻辑回归的教程概览
|
5月前
|
机器学习/深度学习 算法
Logistic回归(二)
Logistic回归,又称对数几率回归,是用于分类问题的监督学习算法。它基于对数几率(log-odds),通过对数转换几率来确保预测值在0到1之间,适合于二分类任务。模型通过Sigmoid函数(S型曲线)将线性预测转化为概率。逻辑回归损失函数常采用交叉熵,衡量模型预测概率分布与真实标签分布的差异。熵和相对熵(KL散度)是评估分布相似性的度量,低熵表示分布更集中,低交叉熵表示模型预测与真实情况更接近。
|
6月前
|
机器学习/深度学习 存储 5G
R语言回归中的Hosmer-Lemeshow拟合优度检验
R语言回归中的Hosmer-Lemeshow拟合优度检验
|
6月前
R语言Poisson回归的拟合优度检验
R语言Poisson回归的拟合优度检验
|
6月前
R方和线性回归拟合优度
R方和线性回归拟合优度
|
6月前
使用R语言进行多项式回归、非线性回归模型曲线拟合
使用R语言进行多项式回归、非线性回归模型曲线拟合
|
6月前
|
机器学习/深度学习 并行计算 算法
【视频】Lasso回归、岭回归等正则化回归数学原理及R语言实例(一)
【视频】Lasso回归、岭回归等正则化回归数学原理及R语言实例(一)
|
6月前
|
机器学习/深度学习 存储 算法
【视频】Lasso回归、岭回归等正则化回归数学原理及R语言实例(二)
【视频】Lasso回归、岭回归等正则化回归数学原理及R语言实例二)
|
机器学习/深度学习 算法 开发者
回归模型参数估计-4| 学习笔记
快速学习回归模型参数估计-4。
回归模型参数估计-4| 学习笔记
|
机器学习/深度学习 算法 开发者
回归模型参数估计-5| 学习笔记
快速学习回归模型参数估计-5。
回归模型参数估计-5| 学习笔记
下一篇
无影云桌面