二、简单线性回归模型(计量经济学学习笔记)(上)

简介: 二、简单线性回归模型(计量经济学学习笔记)(上)

研究经济变量之间相互数量关系最基本的方法之一是回归分析

①回归分析与回归函数


1.1相关分析与回归分析


1.1.1函数关系与相关关系

经济变量之间的相互依存关系有两种:1.确定性的函数关系 2.不确定性的统计关系,也称相关关系
函数关系可表示为Y=f(X)
相关关系可表示为Y=f(X,u) ,其中u为随机变量(或Y=f(X)+u)
相关关系可分为以下类型:

  1. 从涉及的变量数量:简单相关关系 与 多重相关复相关
  2. 从变量相关关系: 线性相关 与 非线性相关
  3. 从相关关系变化方向: 正相关 与 负相关
  4. 从变量相关程度:完全相关不完全相关不相关

1.1.2简单线性相关

1.1.2.1总体相关系数与样本相关系数

两个变量的相关程度用相关系数度量
对总体
总体相关系数在这里插入图片描述
其中Var(X)是变量X的方差,Var(Y)是变量Y的方差,Cov(X,Y)是变量X和Y的协方差。
对样本
在这里插入图片描述
其中X_i和Y_i分别是变量X和Y的样本观测值在这里插入图片描述分别是变量X和Y的样本观测值的平均值;n为样本的个数,也称样本容量。
这样计算的样本相关系数是总体相关系数的一致估计。

1.1.2.2相关系数特点

1.在这里插入图片描述
2.相关系数只反映线性相关程度,不能说明非线性相关关系。
3.相关系数不能确定变量的因果关系。
4.样本相关系数是对总体相关系数的估计。


1.1.3回归分析

相关分析不能说明变量间相关关系的具体形式,相关关系表明变量间相关关系的性质和程度。要具体测定变量之间相关关系的具体形式,还要用到回归分析的方法。
回归分析研究的是总体中解释变量与被解释变量之间客观存在的协变规律性。


1.2总体回归函数

总体回归函数的条件期望表示方式:
在这里插入图片描述
条件期望满足此方程式的函数称为总体回归函数(PRF)(population regression function)


1.3 随机扰动项μ


在这里插入图片描述

  • 在总体回归函数中引入随机扰动项的原因:
    1.作为位置影响因素的代表。
    2.作为无法取得数据的已知因素的代表。
    3.’作为众多细小影响因素的综合代表。
    4.模型设定误差。
    5.经济现象的内在随机性。

1.4样本回归函数

Y的样本观测值的条件均值解释变量X而变动的轨迹,称为样本回归线
把被解释变量Y的样本条件均值表示为解释变量X的某种函数,称为样本回归函数(SRF)。(Sample regression function)
如果为线性函数:
在这里插入图片描述


②简单线性回归模型的参数估计


2.1简单线性回归的基本假定:

五个基本假定:


在这里插入图片描述

2.2普通最小二乘估计

用产生样本概率最大的原则去确定样本回归函数,称为极大似然准则;
用估计剩余平方和最小的原则确定样本回归函数,称为最小二乘准则。
最小二乘法,也称最小二乘估计(OLS或OLSE)
在这里插入图片描述


2.3OLS回归性质

用普通最小二乘法拟合的样本回归线有以下性质


在这里插入图片描述

2.4最小二乘估计量的统计性质


2.4.1 参数估计量的评价标准


在这里插入图片描述

2.4.2OLS估计量的统计特性

在古典假定完全满足的情况下,回归模型参数的最小二乘估计量具有以下统计性质。
在这里插入图片描述

目录
相关文章
|
机器学习/深度学习 算法 API
机器学习算法之线性回归
机器学习算法之线性回归
|
1月前
|
机器学习/深度学习 算法 Python
线性回归模型学习
【9月更文挑战第3天】
28 5
|
5月前
|
机器学习/深度学习 数据采集 人工智能
【机器学习】非线性回归与线性回归有何不同?
【5月更文挑战第19天】【机器学习】非线性回归与线性回归有何不同?
|
5月前
|
算法 Windows
R语言通过WinBUGS对MGARCH和MSV模型进行贝叶斯估计和比较
R语言通过WinBUGS对MGARCH和MSV模型进行贝叶斯估计和比较
|
资源调度
数据科学与统计学之使用JAGS训练贝叶斯回归模型
使用JAGS训练贝叶斯回归模型
106 0
|
机器学习/深度学习 数据可视化 算法
机器学习系列6 使用Scikit-learn构建回归模型:简单线性回归、多项式回归与多元线性回归
在本文中,我们以美国南瓜数据为例,讲解了三种线性回归的原理与使用方法,探寻数据之间的相关性,并构建了6种线性回归模型。将准确率从一开始的0.04提升到0.96.
302 0
|
机器学习/深度学习 算法 测试技术
机器学习实战︱基于多层感知机模型和随机森林模型的某地房价预测
在现实生活中,除了分类问题外,也存在很多需要预测出具体值的回归问题,例如年龄预测、房价预测、股价预测等。相比分类问题而言,回归问题输出类型为一个连续值,如下表所示为两者的区别。在本文中,将完成房价预测这一回归问题。
440 0
机器学习实战︱基于多层感知机模型和随机森林模型的某地房价预测
|
机器学习/深度学习 人工智能
【机器学习】线性回归——最小二乘法的几何意义
【机器学习】线性回归——最小二乘法的几何意义
187 0
【机器学习】线性回归——最小二乘法的几何意义
|
机器学习/深度学习 算法 开发者
回归模型参数估计-5| 学习笔记
快速学习回归模型参数估计-5。
196 0
回归模型参数估计-5| 学习笔记
|
机器学习/深度学习 算法 开发者
回归模型参数估计-3| 学习笔记
快速学习回归模型参数估计-3。
134 0
回归模型参数估计-3| 学习笔记