1. 定义

参数估计（parameter estimation）指根据从总体中抽取的随机样本估计总体分布中未知参数的过程。

据参数估计的性质不同，分成以下两种类型

点估计：用样本统计量的某一具体数值直接推断未知的总体参数，常用方法包括极大似然估计、贝叶斯估计、矩估计、最小二乘法等。

区间估计：在点估计的基础上，由样本统计量所构造的总体参数的置信区间。

e.g. 天气预报，明天最高温度：

• 点估计：12℃.
• 区间估计：11℃ －13℃.

点估计

设总体X XX的分布函数F ( x ; θ ) 的形式已知，θ是待估参数。X₁ X₂  ,X ₃ … , X n 是总体X XX的一个样本，X_{1  ，}X₂    , X ₃   , … , x n 是相应的样本值。

构造一个适当的统计量θ ^ ( X 1 , X 2 , … , X n )，用它的观察值θ ^ ( X₁ X₂  , … , x n )来估计未知参数θ

θ ^ (X₁ X₂   … , X n ) 为θ的估计量；θ ^ (X₁ X₂   , … , x n )为 θ  的估计值。这种对未知参数进行定值估计的问题就是点估计。

2. 矩估计

用样本矩作为总体矩的估计即为矩估计（以样本矩的函数估计总体矩的函数）。

理论根据：辛钦大数定律和依概率收敛的性质（样本k 阶原点矩依概率收敛于总体k 阶原点矩）。

（1）建立( θ 1 , θ 2 , … , θ k ) 与( μ ^l , μ ² , … , μ k ) 的联系

设总体矩E ( x ¹) = μ ^l存在，l = 1 , 2 , … , k ，则μ ^l是θ = ( θ 1 , θ 2 , … , θ k ) 的函数

记作

由大数定律得

用样本矩代替总体矩，令A_i =μ ^l,l=1,2,…,k，

其中，

这是包含k个未知参数θ 1 , θ 2 , … , θ k 的联合方程组（等式左侧为样本矩，右侧为总体矩），

（2）解出方程组的解，记为

3. 极大似然估计

一个盒子装有黑球与白球，假设已经知道两种球的数目比是1:3，但不知道哪种颜色的球多。采用放回抽样方法从盒子中取5个球，观察结果为：4黑1白，估计取到黑球的概率p.

设

则X ∼ B ( 1 , p ) ，其中p 为取到黑球的概率，p = 1 / 4 或 3 / 4

当p = 1 / 4 时，出现本次观察结果的概率为

当p = 3 / 4 时，出现本次观察结果的概率为

由于 ，即当p = 3 /4时，出现观察结果的概率更大，因此取p = 3/ 4

3.1 定义

极大似然估计法是在总体的分布类型已知的条件下使用的一种参数估计方法。

（1）X 为离散型，已知X 的分布P{X=x}=p(x;θ)，θ ∈ Θ 未知。

样本( X 1 , X 2 , … , X n ) 的观测值为( x 1 , x 2 , … , x n ) ，X i  与X 同分布且相互独立

似然函数

对于给定样本值 满足

则称 为θ 的极大似然估计值 为θ 的极大似然估计量（MLE）。该参数对应分布最有可能产生已观测样本值。

（2）X 为连续型，概率密度为f ( x ; θ ) 未知。

来自总体的样本( X₁ X₂ , … , X n ) 的观测值为(X₁ X₂ , … , x n ) ，作为与总体X 同分布且相互独立的n 维随机变量，样本的联合概率密度为：

似然函数

解得θ

此外，若θ ^ 是θ 的极大似然估计，则g ( θ ) 的极大似然估计为g ( θ ^ )

3.2 举例

e.g.1 一个盒子装有黑球与白球，有放回地取n个球，其中有k 个黑球。求盒子中黑球与白球数之比R 的极大似然估计量。

设盒子中有a 只黑球与b 只白球，则R = a / b

则X ∼ B ( 1 , p )

似然函数

e.g.2 设X ∼ N ( μ ,σ ₂   ) ；μ 已知σ ₂  为未知参数，X₁ X₂, … , x n是来自X 的一个样本值，求σ ₂  的极大似然估计量。

X 的概率密度为：

似然函数