无偏估计

简介: 定义无偏估计:估计量的均值等于真实值,即具体每一次估计值可能大于真实值,也可能小于真实值,而不能总是大于或小于真实值(这就产生了系统误差)。估计量评价的标准(1)无偏性 如上述(2)有效性 有效性是指估计量与总体参数的离散程度。

定义

无偏估计估计量的均值等于真实值,即具体每一次估计值可能大于真实值,也可能小于真实值,而不能总是大于或小于真实值(这就产生了系统误差)。

估计量评价的标准

(1)无偏性 如上述

(2)有效性 有效性是指估计量与总体参数的离散程度。如果两个估计量都是无偏的,那么离散程度较小的估计量相对而言是较为有效的。即虽然每次估计都会大于或小于真实值,但是偏离的程度都更小的估计更优。

(3)一致性 又称相合性,是指随着样本容量的增大,估计量愈来愈接近总体参数的真值。

为什么方差的分母是n-1?

结论: 首先这个问题本身概念混淆了。

如果已知全部的数据,那么均值和方差可以直接求出。但是对一个随机变量X,需要估计它的均值和方差,此时才用分母为n-1的公式来估计他的方差,因此分母是n-1才能使对方差的估计(而不是方差)是无偏的。

因此,这个问题应该改为,为什么随机变量的方差的估计的分母是n-1?

如果我们已经知道了全部的数据,那就可以求出均值μ,σ,此时就是常规的分母为n的公式直接求,但这并不是估计!

现在,对于一个随机变量X,我们要去估计它的期望和方差。

期望的估计就是样本的均值¯X

现在,在估计的X的方差的时候,如果我们预先知道真实的期望μ,那么根据方差的定义:

E[(Xiμ)2]=1nni(Xiμ)2=σ2

这时分母为n的估计是正确的,就是无偏估计!

但是,在实际估计随机变量X的方差的时候,我们是不知道它的真实期望的,而是用期望的估计值¯X去估计方差,那么:

img_a6ca703276a7aa7165697d2bf626d3d7.png

由上式可知,只有除非¯X=μ,否则必有

1nni(Xi¯X)2<1nni(Xiμ)2

上面不等式中的右边才算是方差的"正确估计"!

这也就说明了为什么不能使用frac1n



所以把分母从n换成n-1,就是把对方差的估计稍微放大一点点。至于为什么是n-1,而不是n-2,n-3,...,有严格的数学证明。

无偏估计虽然在数学上更好,但是并不总是“最好”的估计,在实际中经常会使用具有其它重要性质的有偏估计。


原文链接:无偏估计



MARSGGBO原创





2018-8-4



目录
打赏
0
0
0
0
11
分享
相关文章
梯度&散度&旋度&峰度&偏度你分得清楚吗?驻点&鞍点你分得清楚吗?曲率&斜率你分得清楚吗?
本文介绍了四种常见的物理量:加速度,速度,位移和力学功。详细介绍了它们的定义、计算以及在物理学和工程学领域中的应用。此外,本文还介绍了四种与物理量相关的概念:向量、标量、质量和密度。 数学,物理,机器学习领域常见概念区分
1572 0
R语言用线性模型进行臭氧预测: 加权泊松回归,普通最小二乘,加权负二项式模型,多重插补缺失值
R语言用线性模型进行臭氧预测: 加权泊松回归,普通最小二乘,加权负二项式模型,多重插补缺失值
最优化方法(最速下降、牛顿法、高斯牛顿法、LM算法)
最优化方法(最速下降、牛顿法、高斯牛顿法、LM算法)
739 0
最优化方法(最速下降、牛顿法、高斯牛顿法、LM算法)
曲线拟合-最小二乘法
线性最小二乘法及matlab例程
先验分布、后验分布、似然估计、贝叶斯估计、最大似然估计
先验分布、后验分布、似然估计、贝叶斯估计、最大似然估计
235 0
先验分布、后验分布、似然估计、贝叶斯估计、最大似然估计
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等