5._无偏性

评价点估计好不好有三个指标：无偏性是指估计量的期望和总体期望一样。 有效性是指估计量的方差应尽可能小，相合性是指当取样数量无限大时，估计量和真实值应无限接近

点估计好坏的评价标准

对于参数估计，采用不同的评估方法会有不同的结论，比如要估算一个学校里男生的平均身高，可以随机抽查100名学生，计算样本的平均值、中位数、众数、最大值和最小值的平均数、截尾均值等作为总体的平均值，我们希望得到的估计量能体现总体的真实参数，那么在同一参数的多个估计量当中，哪一个是最好的估计量呢？自然需要给出评价估计量优劣的标准，这就是本节介绍的无偏性、有效性和相合性。

注： 截尾均值是指由于均数较易受极端值的影响，因此可以考虑将数据进行行排序后，按照一定比例去掉最两端的数据，只使用中部的数据来求均数这叫做截尾均值

无偏性

题目释义，偏，偏差的意思。 无偏性，就是没有偏差。无偏性就是要求 样本的期望值 等于 总体的期望值。

考虑下面一种情况：为了估算全校男生的平均身高，我们可以对其随机采样，比如我们采样10次，每次采样10人，这样就得到10组数据，

$data1: 170,168,182,173,174,175,154,172,160,179$ 算出平均值 $\bar{X_1}=\frac{170+168+182+173+174+175+154+172+160+179}{10}=170.7$

$data2: 161,165,172,173,174,178,179,180,177,179$ 算出平均值 $\bar{X_2}=\frac{161+165+172+173+174+178+179+180+177+179}{10}=173.8$

$data3: 181,165,172,173,176,173,175,163,162,176$ 算出平均值 $\bar{X_3}=\frac{181+165+172+173+176+173+175+163+162+176}{10}=171.6$ ... 算出10组平均值，得到10组样本均值。（注意：对于每次采样获得的值叫做观测值，一般用$x$表示，而算出来的平均值是样本均值，一般用$X$表示）

如果设全校男生平均身高的真实值为$\theta$，可以发现每次取样的均值$\bar{X}$都在$\theta$值附近跳动，也许我们永远不知道全校男生的真实值是多少，但是我们可以给出置信区间，比如 $95 \%$把握保证男生的平均身高为 $172cm$，详见 置信区间

{width=500px}

在上面采样里，如果用$\hat{\theta}$ 表示估算的身高，可以看到 $\hat{\theta}$ 是$\bar{X}$的函数，因此，给出如下定义：

定义

估计量 $\hat{\theta}\left(X_1, X_2, \cdots, X_n\right)$ 是一个随机变量，对于一次具体的观测结果来说，$\hat{\theta}$的取值与真实的参数值 $\theta$ 一般会有偏差，我们希望 $\hat{\theta}$ 的取值能在 $\theta$ 附近波动，而且在多次观测中，$\hat{\theta}$ 的平均值 $E(\hat{\theta})$ 应与 $\theta$ 吻合，由此引出了无偏性的概念．

设 $\hat{\theta}=\hat{\theta}\left(X_1, X_2, \cdots, X_n\right)$ 是未知参数 $\theta$ 的估计量，若$E(\hat{\theta})=\theta$ 则称 $\hat{\theta}$ 为 $\theta$ 的无偏估计量． 如果 $\lim \hat{\theta})=\theta$ 称为渐进无偏估计。

在实际应用中，要求估计量具有无偏性是有实际意义的．例如，在大批商品的交易中，买卖双方一般通过抽样去估计产品的次品率．若估计值高于实际值，将给卖家带来损失．反之，若估计值低于实际值，就会给买家带来损失．但只要采用的估计量是无偏估计量，而且双方的买卖是长期的，则总的来说是互不吃亏的．

无偏性解释

估计量的无偏性有两个含义. 第一个含义是没有系统性的偏差，不论你用什么样的估计量 $\hat{\theta}$ 去估计 $\theta$ ，总是时而偏低, 时而偏高. 无偏性表示, 把这些正负偏差在概率上平均起来，其值为 0 。比如您买了一瓶饮料，虽然包装上标准为500ml，但是由于机器问题导致有时候保证超过500ml一点，有时候低于500ml一点，只要再合理范围，我们认为这都是合格的，因此, 无偏估计不等于在任何时候都给出正确无误的估计.

例设 $\left(X_1, X_2, \cdots, X_n\right)$ 是来自总体 $X$ 的一个样本，总体 $X \sim U(0, \theta)$ 其中 $\theta>0$ 未知， 试求 （1）$\theta$ 的矩估计量 $\hat{\theta}_1$ ； （2）$\theta$ 的极大似然估计量 $\hat{\theta}_2$ ； （3） 问 $\hat{\theta}_1, \hat{\theta}_2$ 是不是未知参数的无偏估计? 若不是，将其修正为无偏估计。

解 (1)由矩估计定义可知 由于 $E(X)=\frac{\theta}{2}$ ，则 $\theta=2 E(X)$ ，故 $\theta$ 的矩估计量 $\hat{\theta}_1=2 \bar{X}$.

(2) 似然函数 $L(\theta)=\left\{\begin{array}{ll}\frac{1}{\theta^n}, & 0 \leqslant x_1, \cdots, x_n \leqslant \theta \\ 0, & \text { 其他 }\end{array}\right.$ ． 因 $L(\theta)$ 不可导，可按最大似然法的基本思想确定 $\hat{\theta}$ 。欲使 $L(\theta)$ 最大，$\theta$ 应尽量小但又不能太小，它必须同时满足 $\theta \geqslant x_i \quad(i=1, \cdots, n)$ ，即 $\theta \geqslant \max \left(x_1, \cdots, x_n\right)$ ，否则 $L(\theta)=0$ ，而 0 不可能是 $L(\theta)$ 的最大值。因此，当 $\theta=\max \left\{x_1, \cdots, x_n\right\}$ 时，$L(\theta)$ 可达最大。所以 $\theta$ 的最大似然估计为 $\hat{\theta}=\max \left\{X_1, \cdots, X_n\right\}$ ．

此例说明,当似然函数L(θ)关于θ单调递增(或递减)时,其极值点为θ的最大(或最小)取值点

现在我们分析一下上面两个估计的通俗意义，假设抽查一批钢板厚度服从均匀分布$(0,\theta)$，抽查的结果是：$2.1cm \quad 2.4cm \quad 2.2cm \quad 2.1cm \quad 2.3cm$ 其平均值为 $\bar{X}=(2.1+2.4+2.2+2.1+2.3)/5=2.2cm$ ,当使用矩估计时，$\theta=2\bar{X}=2.2 * 2= 4.4$ , 而当使用极大似然估计时，$\theta$ 为样本里最大值，即$\theta=2.4$ ，因此一个认为均匀分布是$(0,4.4)$ , 一个认为均匀分布是$(0,2.4)$

(3)

①$E\left(\hat{\theta}_1\right)=E(2 \bar{X})=2 E(X)=2 \times \frac{\theta}{2}=\theta$ ；

②由次序统计量的分布知当 $y \in(0, \theta)$ 时， $X_{(n)}$ 的概率密度

函数为

故 $\quad E\left(\hat{\theta}_2\right)=E\left(X_{(n)}\right)=\int_0^\theta y \cdot \frac{n y^{n-1}}{\theta^n} d y=\frac{n}{n+1} \theta$ 因此，矩估计是无偏估计而极大似然估计不是无偏估计。 但是注意到 $\lim _{n \rightarrow+\infty} E\left(\hat{\theta}_2\right)=\theta$ ，因此 $X_{( n )}$ 是 $\theta$ 的渐近无偏估计。 定义: $\hat{\theta}_2^*=\frac{n+1}{n} \hat{\theta}_2=\frac{n+1}{n} X_{(n)}$ 则满足 $E\left(\hat{\theta}_2^*\right)=\theta$ ，即修正后的 $\frac{n+1}{n} X_{( n )}$ 是 $\theta$ 的无偏估计。

方差

例 已知 $B_2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 和 $S^2=\frac{1}{n-1} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 都是总体方差 $\sigma^2$ 的估计量，问：哪个估计量更好？

解 由于

故样本方差 $S^2=\frac{1}{n-1} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 是 $\sigma^2$ 的无偏估计量．而

所以 $B_2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 不是 $\sigma^2$ 的无偏估计量． 这也正是在实际应用中样本方差采用 $S^2=\frac{1}{n-1} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 而不用 $B_2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 的原因。

上述两例的结论与总体的分布类型没有关系。只要总体均值存在，样本均值总是它的无偏估计量；只要总体方差存在，样本方差总是它的无偏估计量．

本题解释：在样本的均值与方差 里，给出了方差要除以$n-1$ 而不是除以$n$， 就是为了拟合 无偏性，最主要的是自由度少了1

例设总体 $X \sim N\left(\mu, \sigma^2\right),\left(X_1, X_2, \cdots, X_n\right)$ 为来自该总体的一个样本， 已求得：当 $\mu$ 已知时， $\sigma^2$ 的矩估计量 $\hat{\sigma}_1^2=\frac{1}{n} \sum_{i=1}^n X_i^2-\mu^2$ ； 当 $\mu$末知时，$\sigma^2$ 的矩估计量 $\hat{\sigma}_2^2=\frac{1}{n} \sum_{i=1}^n X_i^2-(\bar{X})^2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2=S_n^2$. 分别讨论是 $\hat{\sigma}_1^2 、 \hat{\sigma}_2^2$ 的无偏性.

解

故 $\hat{\sigma}_1^2$ 是 $\sigma^2$ 的无偏估计.

故 $\hat{\sigma}_2^2=S_n^2$ 不是 $\sigma^2$ 的无偏估计. 将 $S_n^2$ 修正为 $S^2$ ，满足 $E\left(S^2\right)=\sigma^2$ ，则 $S^2$ 是 $\sigma^2$ 的无偏估计量.

上面粒子可以这么理解：假设测量5组学生每组10人，然后得到5组的平均值 $172,173,172,175,174$，再用这5组均值估算全校学生的身高，现在告诉你①全校学生的真实身高是173，那我们就要估算方差是多少。②全校学生的真实身高未知，我们估算方差又是多少。对于后面这个情况因为实际均值未知，我们就用样本均值替代总体均值。

方差无偏性定理

若总体 $X$ 的均值 $E(X)=\mu$ ，方差 $D(X)=\sigma^2$ ，样本为 $\left(X_1, X_2, \cdots, X_n\right)$ ， 则有 (1) $E(\bar{X})=\mu$, (2) $E\left(S^2\right)=\sigma^2, E\left(S_n^2\right)=\frac{n-1}{n} \sigma^2, n \geq 2$ 因此，样本均值是总体均值的无偏估计，样本方差是总体方差的无偏估计，而样本的二 阶中心矩是总体方差的渐䜣无偏估计。

上面定理说明了在样本方差 $S^2=\frac{1}{n-1} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 中 $\frac{1}{n-1}$ 的作用．对于样本的二阶中心矩 $\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2=\frac{n-1}{n} S^2$ ，由于其数学期望为 $\frac{n-1}{n} \sigma^2 \neq \sigma^2$ ，所以 $\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 是 $\sigma^2$ 的有偏估计． 但由于 $\lim _{n \rightarrow \infty} E\left[\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2\right]=\sigma^2$ ，因此 $\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 是 $\sigma^2$ 的渐近无偏估计．为了便于与 $S^2$ 对比，也将样本的二阶中心矩 $\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 记为 $S_n^2$ ，即 $S_n^2=\frac{1}{n} \sum_{i=1}^n\left(X_i-\bar{X}\right)^2$ 。

例 设总体 $X \sim P(\lambda)$ ，对任意的常数 $c \in(0,1)$ ，问 $c \bar{X}+(1-c) S^2$是否为 $\lambda$ 的无偏估计？

解 由于 $X \sim P(\lambda)$ ，故 $E X=D X=\lambda$ ，由定理知道， $\bar{X}$ 和 $S^2$ 均为 $\lambda$ 的无偏估计．又因为 $c+(1-c)=1$ ， $c \bar{X}+(1-c) S^2$ 为 $\lambda$ 的无偏估计．

例题

例 设总体 $X \sim B(1, p),\left(X_1, X_2, \cdots, X_n\right)$ 为来自总体 $X$ 的样本，试问 $\hat{p}=\bar{X}$ 是否为未知参数 $p$ 的无偏估计？

解 由于 $E \hat{p}=E \bar{X}=E X=p$ ，所以 $\hat{p}=\bar{X}$ 是 $p$ 的无偏估计．

例 设总体 $X$ 的概率密度为

其中 $\theta$ 是未知参数．$X_1, X_2, \cdots, X_n$ 为来自总体 $X$ 的简单样本，选择适当的常数 $c$ ，使 $c \sum_{i=1}^n X_i^2$ 是 $\theta^2$ 的无偏估计量． （解）由于 $c \sum_{i=1}^n X_i^2$ 是 $\theta^2$ 的无偏估计量，所以

而

所以

故