二、简单线性回归模型(计量经济学学习笔记)(上)

简介: 二、简单线性回归模型(计量经济学学习笔记)(上)

研究经济变量之间相互数量关系最基本的方法之一是回归分析

①回归分析与回归函数


1.1相关分析与回归分析


1.1.1函数关系与相关关系

经济变量之间的相互依存关系有两种:1.确定性的函数关系 2.不确定性的统计关系,也称相关关系
函数关系可表示为Y=f(X)
相关关系可表示为Y=f(X,u) ,其中u为随机变量(或Y=f(X)+u)
相关关系可分为以下类型:

  1. 从涉及的变量数量:简单相关关系 与 多重相关复相关
  2. 从变量相关关系: 线性相关 与 非线性相关
  3. 从相关关系变化方向: 正相关 与 负相关
  4. 从变量相关程度:完全相关不完全相关不相关

1.1.2简单线性相关

1.1.2.1总体相关系数与样本相关系数

两个变量的相关程度用相关系数度量
对总体
总体相关系数在这里插入图片描述
其中Var(X)是变量X的方差,Var(Y)是变量Y的方差,Cov(X,Y)是变量X和Y的协方差。
对样本
在这里插入图片描述
其中X_i和Y_i分别是变量X和Y的样本观测值在这里插入图片描述分别是变量X和Y的样本观测值的平均值;n为样本的个数,也称样本容量。
这样计算的样本相关系数是总体相关系数的一致估计。

1.1.2.2相关系数特点

1.在这里插入图片描述
2.相关系数只反映线性相关程度,不能说明非线性相关关系。
3.相关系数不能确定变量的因果关系。
4.样本相关系数是对总体相关系数的估计。


1.1.3回归分析

相关分析不能说明变量间相关关系的具体形式,相关关系表明变量间相关关系的性质和程度。要具体测定变量之间相关关系的具体形式,还要用到回归分析的方法。
回归分析研究的是总体中解释变量与被解释变量之间客观存在的协变规律性。


1.2总体回归函数

总体回归函数的条件期望表示方式:
在这里插入图片描述
条件期望满足此方程式的函数称为总体回归函数(PRF)(population regression function)


1.3 随机扰动项μ


在这里插入图片描述

  • 在总体回归函数中引入随机扰动项的原因:
    1.作为位置影响因素的代表。
    2.作为无法取得数据的已知因素的代表。
    3.’作为众多细小影响因素的综合代表。
    4.模型设定误差。
    5.经济现象的内在随机性。

1.4样本回归函数

Y的样本观测值的条件均值解释变量X而变动的轨迹,称为样本回归线
把被解释变量Y的样本条件均值表示为解释变量X的某种函数,称为样本回归函数(SRF)。(Sample regression function)
如果为线性函数:
在这里插入图片描述


②简单线性回归模型的参数估计


2.1简单线性回归的基本假定:

五个基本假定:


在这里插入图片描述

2.2普通最小二乘估计

用产生样本概率最大的原则去确定样本回归函数,称为极大似然准则;
用估计剩余平方和最小的原则确定样本回归函数,称为最小二乘准则。
最小二乘法,也称最小二乘估计(OLS或OLSE)
在这里插入图片描述


2.3OLS回归性质

用普通最小二乘法拟合的样本回归线有以下性质


在这里插入图片描述

2.4最小二乘估计量的统计性质


2.4.1 参数估计量的评价标准


在这里插入图片描述

2.4.2OLS估计量的统计特性

在古典假定完全满足的情况下,回归模型参数的最小二乘估计量具有以下统计性质。
在这里插入图片描述

目录
相关文章
|
10月前
|
算法 数据挖掘
R语言中的非线性回归模型
【4月更文挑战第27天】本文探讨了R语言中非线性回归模型的构建与应用,适用于处理非线性变量关系。模型设定涉及响应变量与解释变量的非线性函数连接,如幂函数、指数函数。参数估计通过最小化残差平方和实现,R提供`nls()`等函数支持。非线性回归广泛应用于生物学、经济学和工程学等领域,解决复杂系统中的非线性问题。实践中需注意初始参数选择、局部最优解及模型诊断验证。有效运用非线性回归模型能揭示数据模式,助力数据分析和决策。
262 2
|
机器学习/深度学习
R语言实现逻辑回归模型
首先,本章节使用到的数据集是ISLR包中的Default数据集,数据包含客户信息的模拟数据集。这里的目的是预测哪些客户将拖欠他们的信用卡债务,这个数据集有1w条数据,3个特征
619 0
R语言实现逻辑回归模型
|
6月前
|
机器学习/深度学习 算法 Python
线性回归模型学习
【9月更文挑战第3天】
56 5
|
10月前
|
机器学习/深度学习 计算机视觉
数据分享|R语言GLM广义线性模型:逻辑回归、泊松回归拟合小鼠临床试验数据(剂量和反应)示例和自测题
数据分享|R语言GLM广义线性模型:逻辑回归、泊松回归拟合小鼠临床试验数据(剂量和反应)示例和自测题
|
10月前
|
算法 C++ Python
R语言RSTAN MCMC:NUTS采样算法用LASSO 构建贝叶斯线性回归模型分析职业声望数据
R语言RSTAN MCMC:NUTS采样算法用LASSO 构建贝叶斯线性回归模型分析职业声望数据
|
10月前
|
算法 Windows
R语言通过WinBUGS对MGARCH和MSV模型进行贝叶斯估计和比较
R语言通过WinBUGS对MGARCH和MSV模型进行贝叶斯估计和比较
|
10月前
|
机器学习/深度学习 算法 数据可视化
R语言逻辑回归和泊松回归模型对发生交通事故概率建模
R语言逻辑回归和泊松回归模型对发生交通事故概率建模
|
机器学习/深度学习 数据可视化 算法
机器学习系列6 使用Scikit-learn构建回归模型:简单线性回归、多项式回归与多元线性回归
在本文中,我们以美国南瓜数据为例,讲解了三种线性回归的原理与使用方法,探寻数据之间的相关性,并构建了6种线性回归模型。将准确率从一开始的0.04提升到0.96.
406 0
|
机器学习/深度学习 算法 测试技术
机器学习实战︱基于多层感知机模型和随机森林模型的某地房价预测
在现实生活中,除了分类问题外,也存在很多需要预测出具体值的回归问题,例如年龄预测、房价预测、股价预测等。相比分类问题而言,回归问题输出类型为一个连续值,如下表所示为两者的区别。在本文中,将完成房价预测这一回归问题。
622 0
机器学习实战︱基于多层感知机模型和随机森林模型的某地房价预测
|
机器学习/深度学习 人工智能 vr&ar
【机器学习】线性回归——岭回归解决过拟合问题(理论+图解+公式推导)
【机器学习】线性回归——岭回归解决过拟合问题(理论+图解+公式推导)
319 0
【机器学习】线性回归——岭回归解决过拟合问题(理论+图解+公式推导)