估计量是指一个公式或方式,它告诉人们怎样用手中样本所提给的信息去估计总体参数。在一项应用中,依据估计量算出的一个具体的数值,称为估计值。

1．无偏性

估计量是一个随机变量，对一次具体的观察或试验的结果，估计值可能较真实的参数值有一定偏离，但一个好的估计量不应总是偏小或偏大，在多次试验中所得估计量的平均值应与参数的真值相吻合，这正是无偏性的要求。

【定义1】 设(X₁,X₂,...,X_n)为来自总体X的样本，为总体的未知参数，为θ的一个估计量．若对于任意有

(1)

则称为θ的无偏估计量．记

称b_n以作为θ的估计的偏差，当 时，称为θ的有偏估计量，若则称是θ的渐近无偏估计．

无偏性的意义是，用一个估计量去估计未知参数θ，有时候可能偏高，有时候可能偏低，但是平均来说它等于未知参数θ。

【定理1】 设对总体X，有E(X) = μ，D(X) = σ从总体X中抽取样本X₁,X₂,...,X_n用，S分别表示样本均值和样本修正方差，则

(1)是 μ 的无偏估计量；

(2)S是 σ的无偏估计量．

证 由题设，E(X_i) = μ,D(X_i) = σ(i = 1,2,...,n)，且诸X_i独立。于是有

(1),即是总体均值μ的无偏估计量。

(2)因总体X的期望E(X) = μ和方差D(X) = σ存在，则

故S是总体方差σ的无偏估计量．

但对，有

若n很大时，则很接近1，表明 不是 σ 的无偏估计，而是σ的渐近无偏估计。

【例1】 设总体X的k阶矩存在，(X₁,X₂,...,X_n)为来

自总体X的样本，试证明不论总体X服从什么分布，k阶样本矩是k阶总体矩μk的无偏估计．

证X₁,X₂,...,X_n与X同分布，故有

即有

【例2】 设总体X服从参数为λ的指数分布，其概率密度为

其中参数λ > 0 但未知，又设X₁,X₂,...,X_n为来自总体X的样本，试证和nZ = n[min(X₁,X₂,...,X_n)]都是1 / λ的无偏估计．

证因E，所以是1 / λ的无偏估计量．而Z = [min(X₁,X₂,...,X_n)]具备概率密度

故知E(Z) = 1 / nλ，从而E(nZ) = 1 / λ，即nZ也是1 / λ的无偏估计量

此例结果表明，一个未知参数可以有区别的无偏估计量．值得注意，若 是 θ的无偏估计，g(θ)是θ的函数，不一定是g(θ)的无偏估计．

【例3】 试证样本标准差S不是总体标准差 σ 的无偏估计．

证因为σ = E(S) = D(S) + [E(S)]，注意到，所以，于是 ，这表明尽管S是σ的无偏估计，但S不是总体标准差σ的无偏估计．用样本标准差S去估计总体的标准差 σ ，平均来说是偏低了．

2．有效性

用样本统计量作为总体参数的估计量，其无偏性是重要的，但同一参数的无偏估计不是唯一的，还应该从中选取最好的．例如，从总体X中抽取样本X₁,X₂,X₃,则是总体均值 μ 的无偏估计．考虑E(X_i) = μ，则每个X_i也都是 μ 的无偏估计．还有 , 其数学期望也是μ，它也是μ的无偏估计。

一般只要, 就是μ的无偏估计．这么多无偏估计中哪一个更好一些呢?这就有了有效性的概念．

对于参数 θ 的无偏估计量，其取值应在真值附近波动，我们自然希望它与真值之间的偏差越小越好，也就是说无偏估计量的方差越小越好．

【定义2】 设与均为未知参数θ的无偏估计量，若

(2)

则称 比 有效

【定理2】 总体均值μ的所有线性无偏估计中，以最为有效。

证μ的所有线性无偏估计，中 其方差

要求这个方差的最小值，相当于求函数，在条件下的最小值．这是一个条件极值问题，用拉格朗日乘数法，令

由

得

即c₁ = c₂ = ... = c_n

代入，则。

这是唯一驻点，应是极小值点，亦是最小值点，即当时，达到最小，即

为方差最小值．这表明在总体均值μ的所有线性无偏估计中，以最为有效．

【例4】(续例2)在例2的条件下，试证当时，θ的无偏估计量 比无偏估计量nZ有效．

证因为，所以．再由Z的密度函数可得，故有。当时 ，故比nZ有效．

在θ的所有无偏估计量中，若是具备最小方差的无偏估计量，则称为θ的一致最小方差无偏估计量最优无偏估计量．

可以证明，无偏估计量的方差的下界D₀(θ)为

当时，就是θ的最优无偏估计量．这里，f(x,θ)表示连续型随机变量的概率密度或离散型随机变量的概率函数．

【例5】 设总体X服从参数为λ的泊松分布，X₁,X₂,...,X_n是来自该总体的一个样本，求参数λ的极大似然估计量 ，并证明 是参数λ的最优估计量．

解设样本的一个观察值为X₁,X₂,...,X_n，则似然函数

令

得

由于，故是参数λ的无偏估计量．

又因

lnf(x;λ) = − λ + xlnλ − ln(x!)

所以

因此，，即是参数λ的最优估计量

3．一致性

上面从无偏性和有效性两个方面讨论了选择估计量的标准，但它们都是在固定样本容量竹的前提下提出的．容易想象，如果样本容量越大，样本所含的总体分布的信息应该越多，我们希望随着样本容量的增大，估计量的值能够稳定于待估参数的真值，估计量的这种性质称为一致性．

【定义3】设为参数θ的估计量，若对于任意及任意ε > O，有

(3)

即依概率收敛于θ，则称为θ的一致估计量(或相合估计量)．

【例6】证明样本k阶原点矩 是总体k阶原点矩的一致估计．

证由于X₁,X₂,...,X_n相互独立与X同分布，所以对任意, 也相互独立与X同分布．因此，由大数定律，对于任意ε > 0，有

此表明A_k是 μk的一致估计量．

进而，若待估参数θ = g(μ₁,μ₂,...,μ_k)，其中g(·)为连续函数，则θ的估计量(这里A_k为样本k阶原点矩)是θ的一致估计量。由此可证，样本方差 S 是总体方差σ 的一致估计量。