6._大数定律

大数定律这个名字看起来有点唬人哟，什么叫做“大数”？就是重复次数很多的数据。 本文介绍的几个大数定理其实都差不多，一句话：可以用 用频率估计概率 , 阅读本文前，建议已经了解了依概率收敛

独立同分布名词解释，独立同分布包含“独立”和“同分布”两个意思，所谓独立是值每次测试结果互不影响，同分布是指数据服从同一个分布。例如 分两个批次每次各测量100个学生的身高。这里“第一次测量”的结果不影响“第二次”测量的结果，所以是“独立的”。 而身高都是服从正态分布的，因此，这就是独立同分布的意思。再例如测量一批次产品是否合格等，都是“独立同分布”

弱大数定律与强大数定律

大数定理严格的数学定义分为两种，一是弱大数定理，一种是强大数定律。

弱大数定律 设 $X_1, X_2, X_3, \dots$ 是独立同分布的随机变量序列，期望 $\mu = \mathbb{E}[X_i]$ 存在且有限。弱大数定律指出，样本均值依概率收敛于期望值：

其中，“$\xrightarrow{\text{P}}$”表示依概率收敛。

强大数定律 设 $X_1, X_2, X_3, \dots$ 是独立同分布的随机变量序列，期望$\mu = \mathbb{E}[X_i]$ 存在且有限。强大数定律指出，样本均值几乎必然收敛于期望值：

其中，“a.s.”表示几乎必然收敛。

不管是弱大数定律还是强大数定理，本质上没太大区别，一句话就是：当样本数量很大的时候，样本均值和真实期望值充分接近。

切比雪夫Chebyshev大数定律

设随机变量序列 $X_1, X_2, \cdots, X_n, \cdots$ 两两不相关，若 $E\left(X_i\right)<\infty ， D\left(X_i\right)<\infty$ ， $i=1,2, \cdots$ 。则对任意 $\varepsilon>0$ 有

证明 因为随机变量 $X_1, X_2, \cdots, X_n$ 两两不相关，根据期望和方差的性质得

由切比雪夫不等式知，对任意 $\varepsilon>0$ ， 当 $n \rightarrow \infty$ 时，

这里随机变量序列 $X_1, X_2, \cdots, X_n, \cdots$ 两两不相关指序列中的任意两个随机变量线性无关。

切比雪夫大数定律的通俗解释清参考切比雪夫不等式

如果我们把切比雪夫大数定律拆分来看： ① $\dfrac{1}{n} \sum_{i=1}^n X_i$ ... 这个是$n$次取样的平均值。

② $\dfrac{1}{n} \sum_{i=1}^n E\left(X_i\right)$ ... 这个是$n$次取样的期望的平均值。

③ 在《高等数学》例已经学过，$\varepsilon$表示任意一个小的数。

所以，切比雪夫大数定律的意思是，当采样次数足够多时，均值趋向期望值。

它表明，当试验次数$n$足够大的时候，随机变量序列的算数平均值具有稳定性。

例已知正常男性成人血液中，每一毫升白细胞数平均是 7300 ，均方差是 700 ．利用切比雪夫不等式估计每毫升白细胞数在 $5200 \sim 9400$ 范围内的概率．

解 设每毫升白细胞数为 $X$ ，依题意，$\mu=7300, \sigma^2=700^2$ ，所求概率为

由切比雪夫不等式

即每毫升白细胞数在 $5200 \sim 9400$ 范围内的概率不小于 $8 / 9$ ．

推论 设 $X_1, X_2, \cdots, X_n, \cdots$ 是相互独立的随机变量序列，且 $E X_i=$ $\mu, D X_i=\sigma^2, i=1,2, \cdots$ ，则对任意的 $\varepsilon>0$ ，有 $\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\mu\right|<\varepsilon\right\}=$ 1 ，即

切比雪夫不等式推论，特别强调了一种特殊情况：在期望值一样的情况下，该公式可以进一步化简，均值就是期望值。

例 现有一大批种子，其中良种占 $\frac{1}{6}$ ，现从中任取 6000 粒．试分别（1）用切比雪夫不等式估计；（2）用中心极限定理计算：这 6000 粒中良种所占的比例与 $\frac{1}{6}$ 之差的绝对值不超过 0.01的概率．

解 设 6000 粒中的良种数量为 $X$ ，则 $X \sim B\left(6000, \frac{1}{6}\right)$ ． （1）要估计的概率为

相当于在切比雪夫不等式中取 $\varepsilon=60$ ，于是由切比雪夫不等式可得

即用切比雪夫不等式估计此概率值不小于 0.7685 。 （2）由拉普拉斯中心极限定理，二项分布 $B\left(6000, \frac{1}{6}\right)$ 可用正态分布 $N\left(1000, \frac{5}{6} \times 1000\right)$近似，于是，所求概率为

比较两个结果，用切比雪夫不等式估计是比较粗略的．

伯努利Bernoulli大数定律

假设 $\mu_n$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，在每次试验中事件 $A$ 发生的概率为 $p(0<p<1)$ ，则 $\frac{\mu_n}{n} \xrightarrow{p} p$ ，即对任意 $\varepsilon>0$ ，有

证 引人随机变量

显然

由于 $X_k$ 只依赖于第 $k$ 次试验，而各次试验是独立的，于是 $X_1, X_2, \cdots$ 是相互独立的．由于 $X_k$ 服从 $(0-1)$ 分布，因此

由推论 ，有

即

伯努利大数定律的通俗解释就是 用频率估计概率

它表明，当样本容量足够大的时候，随机事件发生的频率依概率收敛于其发生的概率。这就说明了频率具有稳定性了，稳定于其发生的概率。

伯努利大数定律表明：当重复试验次数 $n$ 充分大时，事件 $A$ 发生的频率 $\frac{n_A}{n}$ 依概率收敛于事件 $A$ 发生的概率 $p$ 。此定理以严格的数学形式表达了频率的稳定性．在实际应用中，当试验次数很大时，便可以用事件发生的频率来近似代替事件的概率．

此外，如果事件 $A$ 的概率很小，则由伯努利大数定律知事件 $A$ 发生的频率也是很小的，或者说事件 $A$ 很少发生．即＂概率很小的随机事件在个别试验中几乎不会发生＂，这一原理称为小概率原理，它的实际应用很广泛．

伯努利大数定律要求随机变量$X_i(i=1,2,…)$的方差存在,但在随机变量服从同一分布的场合,并不需要这一要求,于是又给出了辛钦大数定律

辛钦Khinchin大数定律

设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，服从同一分布，且具有数学期望 $E\left(X_i\right)=\mu, i=1,2, \cdots$ ，则对任意 $\varepsilon>0$ ，有

辛钦大数定律不要求随机变量的方差存在，伯努利大数定律是辛钦大数定律的特殊情况。辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径。例如，要估计某地区的平均亩产量，可收割某些有代表性的地块，如 $n$ 块，计算其平均亩产量，则当 $n$ 较大时，可用它作为整个地区平均亩产量的一个估计。此类做法在实际应用中具有重要意义。

它表明，对X的n次观测的结果依概率收敛于X的期望值。这就提供一个估计随机变量期望的一个方法，利用n个随机变量序列的均值来进行估计随机变量的真实期望。

例 设 $\left\{X_n\right\}$ 为独立同分布的随机变量序列，其共同分布

试问 $\left\{X_n\right\}$ 是否服从大数定律？

解 因为 $E\left(X_n\right)=\sum_{k=1}^{\infty} \frac{2^k}{k^2} \cdot \frac{1}{2^k}=\sum_{k=1}^{+\infty} \frac{1}{k^2}=\frac{\pi^2}{6}<+\infty$ ，即 $E\left(X_n\right)$ 存在，由辛钦大数定律可知 $\left\{X_n\right\}$服从大数定律．

例 设总体 $X$ 服从参数为 2 的指数分布，$X_1, X_2, \cdots, X_n$ 为来自总体 $X$ 的简单随机样本，则当 $n \rightarrow \infty$ 时，$Y_n=\frac{1}{n} \sum_{i=1}^n X_i^2$ 依概率收敛于 $\qquad$ ． 解： $\frac{1}{2}$ ． 本题主要考查辛钦大数定律．由题设，$X_i(i=1,2, \cdots, n)$ 均服从参数为 2 的指数分布，因此，

根据辛钦大数定律，若 $X_1, X_2, \cdots, X_n$ 独立同分布且具有相同的数学期望，即 $E X_i=\mu$ ，则对任意的正数 $\varepsilon$ ，有

从而，本题有

即当 $n \rightarrow \infty$ 时，$Y_n=\frac{1}{n} \sum_{i=1}^n X_i^2$ 依概率收玫于 $\frac{1}{2}$ ．

马尔可夫Markov大数定律

对随机变量序列 $\left\{X_n\right\}$ ，若有 $\frac{1}{n^2} D\left(\sum_{i=1}^n X_i\right) \rightarrow 0$ 成立，则 $\left\{X_n\right\}$ 服从大数定律，即对任意的 $\varepsilon>0$ ，有

它表明，随机序列的均值方差趋于0的时候，说明随机变量列的算数平均值是稳定的，稳定于其期望的平均值。

例题

例设 $\left\{X_n\right\}$ 为独立随机变量序列，证明：若 $X_n$ 的方差 $\sigma_n^2$ 一致有界，即存在常数 $c$ ，使得 $\sigma_n^2 \leqslant c, n=1,2, \cdots$ ，则 $\left\{X_n\right\}$ 服从大数定律．

证明 因为

所以，由马尔可夫大数定律知 $\left\{X_n\right\}$ 服从大数定律．

例设 $X_1, X_2, \cdots$ 是独立同分布的随机变量序列，在下列三种情况下，当 $n \rightarrow \infty$ 时试问 $\bar{X}, \frac{1}{n} \sum_{i=1}^n X_i^2$ 分别依概率收玫于什么值？

（1）$X_i \sim B(m, p), i=1,2, \cdots$ ； （2）$X_i \sim E(\lambda), i=1,2, \cdots$ ； （3）$X_i \sim N\left(\mu, \sigma^2\right), i=1,2, \cdots$ 。

解：三种情况下，$X_1, X_2, \cdots$ 均是独立同分布的随机序列，且 $X_i$ 和 $X_i^2$ 具有有限的数学期望和方差，对 $X_1, X_2, \cdots$ 及 $X_1^2, X_2^2, \cdots$ 分别使用独立同分布大数定律，得

① 当 $X_i \sim B(m, p)$ 时，$E\left(X_i\right)=m p, E\left(X_i^2\right)=m p(1-p)+m^2 p^2$ ，有

② 当 $X_i \sim E(\lambda)$ 时，$E\left(X_i\right)=\frac{1}{\lambda}, E\left(X_i^2\right)=\frac{2}{\lambda^2}$ ，有

③ 当 $X_i \sim N\left(\mu, \sigma^2\right)$ 时，$E\left(X_i\right)=\mu, E\left(X_i^2\right)=\sigma^2+\mu_{\text {，}}^2$ 有

例 (考研例题)设 $X_1, X_2, \cdots, X_n, \cdots$ 是相互独立的随机变量序列，$X_n$ 服从参数为 $n(n \geqslant 1)$ 的指数分布，则下列随机变量序列中不服从切比雪夫大数定律的是（ ）。 （A）$X_1, \frac{1}{2} X_2, \cdots, \frac{1}{n} X_n, \cdots$ （B）$X_1, X_2, \cdots, X_n, \cdots$ （C）$X_1, 2 X_2, \cdots, n X_n, \cdots$ （D）$X_1, 2^2 X_2, \cdots, n^2 X_n, \cdots$ 解 应选（D）． 切比雪夫大数定律要求 $\left\{X_n\right\}$ 相互独立，方差存在且一致有界，即 $D X_n \leqslant C$ ．逐一验证各选项是否满足这一条件，从而确定正确选项．

由题设知 $\left\{X_n\right\}$ 相互独立，且 $D X_n=\frac{1}{n^2} \leqslant 1$ ，所以选项（B）满足切比雪夫大数定律的条件． 又

由此可知，选项（A），（B），（C）均满足切比雪夫大数定律的条件，然而 $D\left(n^2 X_n\right)=n^4 D X_n=n^2$ ，选项（D）不满足切比雪夫大数定律的条件，故选择（D）．

总结

注意这些大数定理的细微区别。

切比雪夫大数定律

$\lim _{n \rightarrow \infty} P\left\{P\left|\frac{1}{n} \sum_{i=1}^n X_i-\frac{1}{n} \sum_{i=1}^n E\left(X_i\right)\right|<\varepsilon\right\}=1$

切比雪夫大数定律表明：在定理所给条件下，随机变量序列 $\left\{X_n\right\}$ 的算术平均值 $1 \sum_{i=1}^n X_i$ 序列依概率收敛于他们的数学期望的算术平均值。

推论：（切比雪夫大数定律的特殊情形） 设随机变量 $X_1, X_2, \cdots, X_n, \cdots$ 相互独立，且具有相同的数学期望和方差： $E\left(X_i\right)=\mu, D\left(X_i\right)=\sigma^2 \quad(i=1,2, \cdots)$ 则对于任意正数 $\varepsilon$ ，有 $\lim _{n \rightarrow \infty} P\left\{\frac{1}{n} \sum_{i=1}^n X_i-\mu<\varepsilon\right\}=1$ 推论表明：在独立同分布的条件下，随机变量的算数平均依概率收玫于它们的数学期望．

这一推论是实际问题中使用算术平均值的依据，当我们要测量某一个量 $a$ 时，可以在不变的条件下重复测量 $n$ 次，得到 $n$ 个结果，$X_1, X_2, \cdots, X_n$ 可以认为 $X_1, X_2, \cdots, X_n$ 分别是服从同一分布，有相同的数学期望 $\mu$ 和方差 $\sigma^2$ 的随机变量 $X_1, X_2, \cdots, X_n$ 的试验数值，由推论可知，当 $n$ 充分大时，取 $n$ 次测量结果 $X_1, X_2, \cdots, X_n$ 的算术平均值作为 $a$ 的近似值，发生的误差很小．

伯努利大数定律

$\lim _{n \rightarrow \infty} P\left\{\left|\frac{n_A}{n}-p\right|<\varepsilon\right\}=1$

伯努利大数定律表明：一个事件 $A$ 在 $n$ 次独立重复试验中发生的频率 $\frac{n_A}{n}$ 依概率收玫于事件 $A$ 发生的概率 $p$ ，伯努利大数定律以严格的数学形式表达了频率的稳定性．从伯努利大数定律的等价形式 $\lim _{n \rightarrow \infty} P\left\{ n_A/n -p \ge \varepsilon\right\}=0$ 可以看到当 $n$ 很大时，事件 $A$ 在 $n$ 次独立重复试验中发生的频率 $n_A$ 与 $A$ 在试验中发生的概率有较大偏差的可能性很小，在实际应用中，当试验次数 $n$ 很大时，便可以利用事件 $A$ 发生的频率来近似代替事件 $A$ 发生的概率。

切比雪夫大数定律推论中要求随机变量 $X_1, X_2, \cdots, X_n$ 的方差存在，但在这些随机变量服从同一分布的情况下，并不需要这些要求，有如下辛钦大数定律。

辛钦大数定律

$\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^n X_i-\mu\right|<\varepsilon\right\}=1$

注: (1) 定理不要求随机变量的方差存在; (2) 伯努利大数定律是辛钦大数定律的特殊情况; (3) 辛钦大数定律为寻找随机变量的期望值提供了一条实际可行的途径.

总结

切比雪夫定律适用于任意独立变量（如不同分布的测量误差），强调方差控制，条件最宽松，仅需独立性和方差有界，适用非同分布但方差有界的情况。

伯努利定律专用于二元事件频率（如成功/失败），最经典，结论直接对应概率的稳定性，强调频率稳定性

辛钦定律针对同分布变量（如多次测量同一物理量），无需方差存在，最贴近实际统计，更贴近实际统计需求，可以没有方差但要求同分布，是切比雪夫的进一步推广