应用统计学与R语言实现学习笔记(五)——参数估计

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71379588 Chapter 5 Estimation本篇是第五章,内容是参数估计。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71379588

Chapter 5 Estimation

本篇是第五章,内容是参数估计。

1.参数估计的一般问题

正如前面介绍的,统计学的两大分支,分别是描述统计和推断统计。所以今天来谈谈推断统计的第一大问题——参数估计。当然一般叫统计推断的会更多些,二者是一样的。
统计推断(Statistical Inference)——主要包括参数估计和假设检验,实质就是通过样本的均值、标准差、方差等去估计总体的均值、标准差、方差或者判断总体的分布形式和分布参数。

  • 参数估计:根据从总体中抽得的样本所提供的信息,对总体分布中包含的未知参数作出数值上的估计。
    点估计:用样本的某一函数值来估计总体分布中的未知参数;
    区间估计:按照一定的可靠度估计出参数的一个范围,即确定一个区间,使这一个区间内包含参数真值的概率达到预先所要求的程度。
  • 假设检验:需要对总体的分布形式或分布参数事先作出某种假设,然后根据样本观测值,运用统计分析的方法来检验这一假设是否正确。

上一篇提到的,获取样本之后,我们需要去猜总体,参数估计就是猜总体的参数(分布中所含的未知参数;分布特征:均值、方差等;事件的概率等)或者参数空间(参数的可能取值范围)。
假设检验是下一章内容,这里就不细述了。
首先明确两个概念:估计量(estimator)与估计值(estimated value)。

  • 估计量: 用于估计总体参数的随机变量,一般为样本统计量(如样本均值、 样本比例、 样本方差等; 例如:样本均值就是总体均值μμ的一个估计量)。
  • 估计值: 估计参数时计算出来的统计量的具体值,如果样本均值=80, 则80就是总体均值的估计值。

既然是估计量,就必须有评价估计量的标准。一般包括以下几点:

  • 无偏性:估计量的数学期望等于被估计的总体参数,样本的随机性导致估计偏差, 偏差平均值为0, 无系统误差(所以在这里又提出了渐进无偏估计:估计随着样本量的增加而逐渐趋近于真值。渐进无偏估计指系统偏差会随着样本量的增加而逐渐减小,趋于0,在大样本时可近似当无偏估计使用)。
  • 有效性: 对同一总体参数的两个无偏点估计量, 有更小标准差的估计量更有效。
  • 一致性: 随着样本容量的增大, 估计量的值越来越接近被估计的总体参数。

由于无偏性是最普遍的标准。这里再介绍部分无偏性的几个要点:

  • 样本均值是总体期望的无偏估计。
  • 诸观测值对样本均值的偏差可正可负,其和恒为0(n个偏差中只有n-1个是独立的)。
  • 自由度:独立偏差个数。
  • 偏差平方和(样本量相等情况下,偏差平方和的大小反映样本散布的大小, 样本量大,偏差平方和大趋近于平均偏差平方和,偏差平方和的期望小于方差,有偏估计,渐进无偏估计。

点估计(point estimate)

  • 用样本估计量的某个取值直接作为总体参数的估计值(例如:用样本均值直接作为总体均值的估计;用两个样本均值之差直接作为总体均值之差的估计)。
  • 无法给出估计值接近总体参数程度的信息(虽然在重复抽样条件下,点估计的均值可望接近总体真值,但由于样本是随机的,抽出一个具体的样本得到的估计值等同于总体真值的可能性很小,特别是在连续分布时,该概率几乎为0,一个点估计量的可靠性是由它的抽样标准误差来衡量的,这表明一个具体的点估计值无法给出估计的可靠性的度量)。

2.区间估计 Confidence Intervals

正如前面提到的点估计可靠性较低,因此在点估计的基础上又提出了区间估计(interval estimate),它能解决的问题包括:

  • 为解决参数估计的精确度和可靠性问题, 在点估计的基础上给出总体参数估计的一个区间范围(该区间一般由样本统计量加减抽样误差而得到),使这一个区间内包含参数真值的概率大到预先所要求的程度。
  • 它不具体指出总体参数等于什么,但能指出总体的未知参数落入某一区间的概率有多大。

二者的区别在于:点估计是一个数,区间估计给出一个区间,提供更多关于变异性的信息。通俗的解释,你女朋友买了件衣服,让你猜价格,你猜中准确价格很难,但是你猜一个范围还是准确度比较高的。

这里写图片描述

所以区间估计(interval estimate)的概念是——根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量。
由概率度量则引出了置信区间(Confidence Intervals)的概念。

x1,x2,,xnf(x,θ)α0<α<1,设x1,x2,⋯,xn是来自f(x,θ)的样本,对于给定的α,0<α<1,
θ1(x1,x2,,xn)θ2(x1,x2,,xn)如能找到两个统计量θ1(x1,x2,⋯,xn)和θ2(x1,x2,⋯,xn)
使P{(θ1(x1,x2,,xn)<θ<θ2(x1,x2,,xn)}1α,使得P{(θ1(x1,x2,⋯,xn)<θ<θ2(x1,x2,⋯,xn)}≥1−α,
(θ1(x1,x2,,xn),θ2(x1,x2,,xn))θ1α(Confidenceinterval);称(θ1(x1,x2,⋯,xn),θ2(x1,x2,⋯,xn))是θ的置信度为1−α的置信区间(Confidenceinterval);
θ1,θ2,1α,α(Significancelevel)θ1,θ2为置信上限与置信下限,1−α为置信度,α为显著性水平(Significancelevel)。

置信区间实质上是由样本统计量所构造的总体参数的估计区间。在某种程度上确信这个区间包含真正的总体参数(用一个具体的样本所构造的区间是一个特定的区间,我们无法知道这个样本所产生的区间是否包含总
体参数的真值,我们只能是希望这个区间是大量包含总体参数真值的区间中的一个,但它也可能是少数几个不包含参数真值的区间中的一个)。置信区间表明了区间估计的精确性, 区间越小越精确,区间越大越不精确。
置信水平——将构造置信区间的步骤重复很多次,置信区间包含总体参数真值的次数所占的比例称为置信水平(置信度)。置信水平表明了区间估计的可靠性, 表示为 (1α)(1−α)(αα是总体参数未在区间内的比例, 区间估计不可靠的概率为αα, 如αα=0.05, 表明结论犯错误的概率为0.05),常用的置信水平值有99%, 95%, 90%。
那么什么样的置信区间是好的置信区间呢?也就是区间估计的评价标准是什么呢?一般包括如下两点:

  • 置信度(置信系数)越大越好——概率越大越放心,但不能一味求大。
  • 随机区间平均长度越短越好——估计精度越高。

但是在某些实际问题中,我们可能更关心置信上限或置信下限(合金钢强度,越大越好(望大特性),平均强度下限是个重要指标,药物毒性,越小越好(望小特性),平均毒性上限是个重要指标)。这就是单侧置信限问题。
谈完了这么多理论,接下来进入实践,如何做一个总体参数的区间估计?
按照前一章,我们还是讨论三个重要的总体参数:均值、比例、方差。也是先谈一个总体参数的区间估计。
首先规定好符号对应统计量和参数。
总体均值——μμ,总体比例——p,总体方差——σ2σ2;
样本均值——x¯,样本比例——p¯,样本方差——s2s2
一个总体均值的置信区间估计方法总结起来就是:

  • 正态分布,且总体方差σσ已知,用Z值;
  • 正态分布,且总体方差σσ未知,用t值;
  • 非正态分布但是大样本,无论总体方差σσ是否已知,用Z值。

第一种情况:正态分布统计量z——z=x¯μσ/nN(0,1)z=x¯−μσ/n∼N(0,1),总体均值μμ1α1−α置信水平下的置信区间为x¯±zα/2σnx¯±zα/2σn,置信下限为x¯zα/2σnx¯−zα/2σn,置信上限为x¯+zα/2σnx¯+zα/2σn
第二种情况:t分布统计量——t=x¯μs/nt(n1)t=x¯−μs/n∼t(n−1),总体均值μμ1α1−α置信水平下的置信区间为x¯±tα/2snx¯±tα/2sn,置信下限为x¯tα/2snx¯−tα/2sn,置信上限为x¯+tα/2snx¯+tα/2sn
第三种情况:正态分布统计量z——z=x¯μσ/nN(0,1)z=x¯−μσ/n∼N(0,1),总体均值μμ1α1−α置信水平下的置信区间为x¯±zα/2σnx¯±zα/2σnσσ未知的话,把σσ换成s即可)。

一个总体比例的置信区间估计方法如下:
假定条件np≥5, n(1-p)≥5, n≥30。
正态分布统计量z——z=p¯pp(1p)nN(0,1)z=p¯−pp(1−p)n∼N(0,1),总体比例的置信区间为p¯±zα/2p(1p)np¯±zα/2p(1−p)np¯±zα/2p¯(1p¯)np¯±zα/2p¯(1−p¯)n

一个正态总体方差的置信区间估计方法如下:
总体方差σ2σ2的点估计量为s2s2,则(n1)s2σ2χ2(n1)(n−1)s2σ2∼χ2(n−1),总体方差在1α1−α置信水平下的置信区间为:
(n1)s2χ2α/2(n1)σ2(n1)s2χ21α/2(n1)(n−1)s2χα/22(n−1)≤σ2≤(n−1)s2χ1−α/22(n−1)

接下来谈谈两个总体参数的置信区间的估计方法。
估计的一般包括均值差、比例差、方差比,主要包括两种抽样方法——独立样本和配对样本。
两个正态总体均值之差的置信区间(独立样本):

σ21σ12σ22σ22已知,使用正态分布统计量z:z=(x¯1x¯2)(μ1μ2)σ21n1+σ22n2N(0,1)z=(x¯1−x¯2)−(μ1−μ2)σ12n1+σ22n2∼N(0,1),两个总体均值之差μ1μ2μ1−μ21α1−α置信水平下的置信区间为:(x¯1x¯2)±zα/2σ21n1+σ22n2(x¯1−x¯2)±zα/2σ12n1+σ22n2

σ21σ12=σ22σ22未知,总体方差的合并估计量:s2p=(n11)s21+(n21)s22n1+n22sp2=(n1−1)s12+(n2−1)s22n1+n2−2,估计量x¯1x¯2x¯1−x¯2的抽样标准差:sp21n1+sp22n2sp12n1+sp22n2,两个样本均值之差的标准化:t=(x¯1x¯2)(μ1μ2)sp1n1+1n2t(n1+n22)t=(x¯1−x¯2)−(μ1−μ2)sp1n1+1n2∼t(n1+n2−2),两个总体均值之差μ1μ2μ1−μ21α1−α置信水平下的置信区间为:(x¯1x¯2)±tα/2(n1+n22)s2p(1n1+1n2)(x¯1−x¯2)±tα/2(n1+n2−2)sp2(1n1+1n2)
σ21σ22σ12≠σ22未知,n1=n2n1=n2(x¯1x¯2)±tα/2(n1+n22)(s21n1+s22n2)(x¯1−x¯2)±tα/2(n1+n2−2)(s12n1+s22n2)
σ21σ22σ12≠σ22未知,n1n2n1≠n2(x¯1x¯2)±tα/2(v)(s21n1+s22n2)(x¯1−x¯2)±tα/2(v)(s12n1+s22n2)vv=(s21n1+s22n2)2(s21/n1)2n11+(s22/n2)2n21v为自由度,v=(s12n1+s22n2)2(s12/n1)2n1−1+(s22/n2)2n2−1

两个总体均值之差的区间估计(独立大样本)
两个总体均值之差的估计:
σ21σ12σ22σ22已知时,两个总体均值之差μ1μ2μ1−μ21α1−α置信水平下的置信区间为:(x¯1x¯2)±zα/2(σ21n1+σ22n2)(x¯1−x¯2)±zα/2(σ12n1+σ22n2)
σ21σ12σ22σ22未知时,两个总体均值之差μ1μ2μ1−μ21α1−α置信水平下的置信区间为:(x¯1x¯2)±zα/2(s21n1+s22n2)(x¯1−x¯2)±zα/2(s12n1+s22n2)

两个总体均值之差的区间估计(匹配样本)
匹配大样本的假定条件——两个匹配的大样本(n130n230n1≥30和n2≥30);
两个总体均值之差μd=μ1μ2μd=μ1−μ21α1−α置信水平下的置信区间为:d¯±zα/2σdnd¯±zα/2sdnd¯±zα/2σdn或d¯±zα/2sdnd¯为对应差值的均值,σdσd为对应差值的标准差。

匹配小样本的假定条件——两个匹配的小样本(n1<30n2<30n1<30和n2<30),两个总体各观察值的配对差服从正态分布。
两个总体均值之差μd=μ1μ2μd=μ1−μ21α1−α置信水平下的置信区间为:d¯±tα/2(n1)sdnd¯±tα/2(n−1)sdn

两个总体比例之差区间的估计
假定条件——两个总体服从二项分布,可以用正态分布来近似,两个样本是独立的。
两个总体比例之差p1p2p1−p21α1−α置信水平下的置信区间为:p¯1p¯2±zα/2q¯1(1q¯1)n1+q¯2(1q¯2)n2p¯1−p¯2±zα/2q¯1(1−q¯1)n1+q¯2(1−q¯2)n2

两个正态总体方差比的置信区间
实际应用如两种不同方法生产的产品性能的稳定性或两种不同测量工具的精度,需要我们去比较两个总体方差。

两个正态总体方差比的估计
比较两个总体的方差比,用两个样本的方差比来判断(如果s21/s22s12/s22接近于1,说明两个总体方差很接近;如果s21/s22s12/s22远离1,说明两个总体方差存在差异)。
总体方差比在1α1−α置信水平下的置信区间为:s21/s22Fα/2<σ21σ22<s21/s22F1α/2,FF(n11,n21)s12/s22Fα/2<σ12σ22<s12/s22F1−α/2,F∼F(n1−1,n2−1)(F分布性质:F1α/2(n1,n2)=1Fα/2(n2,n1)F1−α/2(n1,n2)=1Fα/2(n2,n1))。

总的来说,参数估计的东西很多,根据具体研究情况,我们可以根据自己需求选择不同的参数估计。当然据笔者所知,R语言在参数估计上,现成函数(指默认的基础包)比较少,一般需要自编函数或者有额外的包。这里先给出一个样例函数(14章中会涉及到一部分,这里不详述)。

conf.int=function(x,sigma,alpha) {
    mean=mean(x)
    n=length(x)
    z=qnorm(1-alpha/2,mean=0,sd=1,lower.tail = T)
    c(mean-sigma*z/sqrt(n),mean+sigma*z/sqrt(n))
    }

3.样本容量的确定

前一章我们提到统计学闻名于世的规定,样本容量一般必须>30。但是这种规定,并不是万能的。所以样本容量的确定就成了一个问题。n过大费用高、时间长、人力多;n过小误差增大。
事实上n的确定依赖于多大置信度(可靠性),什么样的精度(多宽的区间)。
所以样本容量的确定需要根据置信区间的性质来决定。
置信区间的性质——以正态总体小样本容量为例。首先置信区间的宽度:w=2zσnw=2zσn,因此很容易发现影响区间宽度的因素包括了:

  • 样本容量:大样本容量——小区间。
  • 总体数据的离散程度:小方差——小区间。
  • 置信水平:高置信度——大t值——大区间。

边际误差(margin error)——置信区间上下限与点估计之间的距离。

E=zσnE=zσn

给定边际误差E和置信水平 1α1−α,可以找到所需要的样本容量。

估计总体均值时样本容量的确定(σ2σ2已知):
n=(zα/2)2σ2E2E=zα/2σnn=(zα/2)2σ2E2,其中E=zα/2σn
样本容量n与总体方差σ2σ2、边际误差E、置信水平1α1−α之间的关系为:

  • 随总体方差增大而增大。
  • 随边际误差减小而增大。
  • 1α1−α增大而增大,随αα减小而增大。

σσ未知,如有近期样本可用,用其样本标准差代替σσ,用t分布分位数代替标准正态分布分位数,自由度为近期样本容量-1。否则,可以用一个至少比σσ大的数来替代σσ,抽一个样本,用s代替σσ——Stein 两步法。

估计总体比例时样本容量的确定:
根据比例区间估计公式可得样本容量n为

n=(zα/2)2p(1p)E2E=zα/2p(1p)nn=(zα/2)2⋅p(1−p)E2,其中:E=zα/2p(1−p)n

E的取值一般小于0.1,p 未知时, 可用之前样本比率估计,或保守的取最大值0.5。

估计两个总体均值之差时样本容量的确定:
n1n1n2n2为来自两个总体的样本,并假定n1=n2n1=n2。根据均值之差的区间估计公式可得两个样本的容量n为:

n1=n2=n=(zα/2)2(σ21+σ22)E2E=zα/2(σ21+σ22)nn1=n2=n=(zα/2)2⋅(σ12+σ22)E2,其中E=zα/2(σ12+σ22)n

估计两个总体比例之差时样本容量的确定:
n1n1 n2n2为来自两个总体的样本,并假定 n1=n2n1=n2。根据比例之差的区间估计公式可得两个样本的容量n为:
n1=n2=n=(zα/2)2[p1(1p1)+p2(1p2)]E2E=zα/2(p1(1p1)+p2(1p2))nn1=n2=n=(zα/2)2⋅[p1(1−p1)+p2(1−p2)]E2,其中E=zα/2(p1(1−p1)+p2(1−p2))n

总的来说,样本容量的确定也是根据具体需要以及显著性水平计算得到的。
目录
相关文章
|
机器学习/深度学习 数据可视化 大数据
可曾听闻【大话】二字—统计学R语言
# 我为什么要写这篇 &gt; 我们都知道,21世纪是数据科学的时代,而统计学则是数据科学的基础,任正非在一档访谈节目中也着重谈到了统计学在大数据时代的重要性。大数据不能被直接拿来使用,统计学依然是数据分析的灵魂。 ![image-20220608170829223](C:\Users\萧\AppData\Roaming\Typora\typora-user-images\image-20220608170829223.png) # 总论 全章概览图 ![image-20220608170918361](C:\Users\萧\AppData\Roaming\Typora\typora-u
251 0
|
数据可视化 数据挖掘 文件存储
应用统计学与R语言实现笔记(番外篇三)——缺失值的相关系数分析
昨天刚好有位同学来咨询R语言里计算相关系数的一些问题,所以来谈谈关于缺失值的相关系数分析问题,主要是在R语言中如何处理含缺失值数据的相关系数分析。
1263 0
|
资源调度 机器学习/深度学习
应用统计学与R语言实现笔记(番外篇一)——判别分析更正
最近经历了很多事情,一言难尽。终究还是要回来更新博客的。新的一年先把旧的问题解决了再来开始新篇章。在年前有两位小伙伴指出了我在判别分析一章中的一些问题。主要针对这篇做些拓展和讨论。
1071 0
|
资源调度
应用统计学与R语言实现学习笔记(四)——抽样方法与抽样分布
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71289372 Chapter 4 Sampling And Sample Distribution 本篇是第四章,内容主要是抽样方法与抽样分布。
1216 0
|
数据采集 数据可视化 Python
应用统计学与R语言实现学习笔记(三)——描述性统计
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71190387 Chapter 3 Descriptive Statistics 本篇是第三章,内容是描述性统计。
1064 0
|
数据采集 物联网 大数据
应用统计学与R语言实现学习笔记(二)——数据收集
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71176846 Chapter 2 Data Collection 本篇是第二章,内容是数据收集。
1179 0
|
大数据 数据挖掘 数据处理
应用统计学与R语言实现学习笔记(一)——简介
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/71076504 Chapter ...
1210 0

热门文章

最新文章