7._列维一林德伯格中心极限定理

大数定律与中心极限定理的区别

大数定律研究的是一系列随机变量 {Xn}\left\{X_n\right\} 的均值 Xˉn=1ni=1nXi\bar{X}_n=\frac{1}{n} \sum_{i=1}^n X_i 是否会依概率收玫于其期望 EXˉnE \bar{X}_n 这个数值,而中心极限定理进一步研究 Xˉn\bar{X}_n 服从什么分布。若 {Xn}\left\{X_n\right\} 满足一定的条件(大量、微小),当 n 足够大时, Xˉn\bar{X}_n 近似服从正态分布,这就是中心极限定理的主要思想,这也体现了正态分布的重要性与普遍性。

引入案列

案列1:误差是人们经常遇到且感兴趣的随机变量, 大量的研究表明, 误差的产生是由大量微小的相互独立的随机因素叠加而成的. 辟如一位操作者在机床上加工机械轴, 使其直径符合规定要求,但加工后的机械轴与规定要求总有一定的误差, 这是因为在加工时受到一些随机因素的影响,包括 在机床方面有机床振动与转速的影响.在刀具方面有装配与磨损的影响.在材料方面有钢材的成分、产地的影响。在操作者方面有注意力集中程度、当天的情绪的影响.在测量方面有量具误差、测量技术的影响.在环境方面有车间的温度、湿度、照明、工作电压的影响.在具体场合还可列出许多其他影响因素. 由于这些因素很多, 每个因素对加工精度的影响都是很微小的, 每个因素的出现都是随机的、是人们无法控制的、时有时无、时大时小、时正时负。这些因素的综合影响最后使每个机械轴的直径产生误差,若将这个误差记为 YnY_n ,那么 YnY_n 是随机变量,且可以将 YnY_n 看作很多微小的随机波动 X1,X2,,XnX_1, X_2, \cdots, X_n 之和,即Yn=X1+X2++XnY_n=X_1+X_2+\cdots+X_n 这里 nn 是很大的,人们关心的是当 nn \rightarrow \infty 时," YnY_n 的分布是什么?" 当然,我们可以用卷积公式去计算 YnY_n 的分布. 但是这样的计算是相当复杂的、不易实现的. 然而,通过大量测试,观察,我们啊发现这种随机变量往往近似呈现正态分布,这种现象是现实世界的客观反映,我们把这种现象称为中心极限定理。

案例2:导弹击中目标受到多个因素的影响包括:(1)温度 (2)湿度 (3)经纬度等影响。我们发现,虽然这些因素很多,但是这些因素每个影响都不是那么大,通过观察,这些“大量”“独立”“微小”的分布加起来近似呈现出“正态分布”, 在这里, 温度、湿度、风速等实际测量量很难说它们一定同分布。这不重要,只要这些“干扰因素”很小,那么他们的总和就呈现出正态分布。 这就是中心极限定理的通俗说法。

中心极限定理 (CLT) 是概率论中的真正瑰宝之一. 它的假设很弱, 并且在实践中通常可以得到满足. 令人惊讶的是其结果的普遍性. 简而言之,对于一些相互独立的 "好" 随机变量, 伴随着变量个数的不断增加, 它们的和将收敛于正态分布, 而正态分布的均值和方差显然由这些独立变量的均值和方差确定. 中心极限定理可以认为是现实世界的数学反映。

中心极限定理通俗的说,小误差不可避免,但是这些小的误差加起来总和呈现正态分布。

不同于大数定律,中心极限定理,不是从随机变量某个值的稳定性的角度来考虑稳定性的,而是从分布的稳定性来考虑随机变量的稳定性。

列维一林德伯格中心极限定理(也称独立同分布中心极限定理)

设随机变量序列 X1,X2,,Xn,X_1, X_2, \cdots, X_n, \cdots 相互独立,服从同一分布,其数学期望 EXk=μkE X_k=\mu_k , 方差 DXk=σk2>0,k=1,2,D X_k=\sigma_k^2>0, k=1,2, \cdots , 则随机变量

Yn=k=1nXkE(k=1nXk)D(k=1nXk)=k=1nXknμnσY_n=\dfrac{\sum_{k=1}^n X_k-E\left(\sum_{k=1}^n X_k\right)}{\sqrt{D\left(\sum_{k=1}^n X_k\right)}}=\dfrac{\sum_{k=1}^n X_k-n \mu}{\sqrt{n} \sigma}

的分布函数Fn(x)F_n(x) 对于任意 xx 满足

limnFn(x)=limnP{k=1nXknμnσx}=x12πet22dt\lim _{n \rightarrow \infty} F_n(x)=\lim _{n \rightarrow \infty} P\left\{\dfrac{\sum_{k=1}^n X_k-n \mu}{\sqrt{n} \sigma} \leqslant x\right\}=\int_{-\infty}^x \dfrac{1}{\sqrt{2 \pi}} e^{-\frac{t^2}{2}} d t

这就称随机变量序列 {Xn}\left\{X_n\right\} 服从独立同分布的中心极限定理.

证明略.

从上面结论容易知道,当 nn 充分大时,近似地有

Yn=k=1nXknμnσ2N(0,1).\boxed{ Y_n=\dfrac{\sum_{k=1}^n X_k-n \mu}{\sqrt{n \sigma^2}} \sim N(0,1) . }

或者说,当 nn 充分大时,近似地有

k=1nXkN(nμ,nσ2)\boxed{ \sum_{k=1}^n X_k \sim N\left(n \mu, n \sigma^2\right) }

虽然在一般情况下很难求出 X1+X2++XnX_1+X_2+\cdots+X_n 的分布的确切形式,但当 nn 很大时,可求出其近似分布。由定理结论有

i=1nXinμσn 近似 N(0,1)1ni=1nXiμσ/n 近似 N(0,1)XˉN(μ,σ2/n),Xˉ=1ni=1nXi.\dfrac{\sum_{i=1}^n X_i-n \mu}{\sigma \sqrt{n}} \stackrel{\text { 近似 }}{\sim} N(0,1) \Rightarrow \dfrac{\frac{1}{n} \sum_{i=1}^n X_i-\mu}{\sigma / \sqrt{n}} \stackrel{\text { 近似 }}{\sim} N(0,1) \Rightarrow \bar{X} \sim N\left(\mu, \sigma^2 / n\right), \quad \bar{X}=\frac{1}{n} \sum_{i=1}^n X_i .

故定理又可表述为:当 nn 充分大时,均值为 μ\mu ,方差为 σ2>0\sigma^2>0 的独立同分布的随机变量 X1,X2,,Xn,X_1, X_2, \cdots, X_n, \cdots 的算术平均值 Xˉ\bar{X} 近似地服从均值为 μ\mu ,方差为 σ2/n\sigma^2 / n 的正态分布.这一结果是数理统计中大样本统计推断的理论基础.

中心极限定理的通俗解释

中心极限定理通俗的解释就是:

①样本的平均值约等于总体的平均值。②不管总体是什么分布,任意一个总体的样本平均值都会围绕在总体的整体平均值周围,并且呈正态分布。

上面第一句话的意思是样本的平均值约定于或者说依概率收敛于总体的平均值。

那第二句话是什么意思呢? 比如我们进行取样,每一次取样取一百条数据,这是一个样本,样本中每条数据它的值都是服从相同分布的,我们把这一次的取样结果的平均值记为 X\overline{\mathrm{X}} ,称为样本平均值。很明显 X\overline{\mathrm{X}} 也是一个变量,意思是每一次的取样这个样本平均值都有可能不同。但是中心极限定理指出 X\overline{\mathrm{X}}围绕着总体的整体平均值周围,并且成正态分布。

这里总体的整体平均值又是什么呢?其实并不是指简单的所有数据的平均值。假设我们把VV当作随机取到一个数据的值,那么随机变量VV的数学期望就是整体平均值。所以它应该是数学期望。这里总体均值上面大数定律中提到的是一样的,都是数学期望。

下面再以一个具体的例子进行说明。 假设有一个群体,如清华毕业的人,我们对这类人群的收入感兴趣。怎么知道这群人的收入呢?我们会做这样4步:

  • 第1步.随机抽取一个样本,求该样本的平均值。例如我们抽取了100名毕业于清华的人,然后对这些人的收入求平均值。该样本里的 100名清华的人,这里的100就是该样本的大小。有一个经验是,样本大小必须达到30,中心极限定理才能保证成立。

  • 第2步.我将第1步样本抽取的工作重复做几次,不断地从其它清华毕业的人中随机抽取 100 个人,例如我抽取了 5 个样本,并计算出每个样本的平均值,那么 5 个样本,就会有 5 个平均值。这里的 5 个样本,就是指样本数量是 5 。

  • 第3步.根据中心极限定理,这些样本平均值中的绝大部分都极为接近总体的平均收入。有一些会稍高一点,有一些会稍低一点,只有极少数的样本平均值大大高于或低于群体平均值。

  • 第4步.中心极限定理告诉我们,不论所研究的群体是怎样分布的,这些样本平均值会在总体平均值周围呈现一个正态分布。

为了跟上面的举例做一个衔接 。我们可以把 X1,X2,Xn\mathrm{X}_1, \mathrm{X}_2, \ldots \mathrm{X}_{\mathrm{n}} 看作是一个样本,或者说一次大试验,而每一个XX都是描述一个数据,或者说一次小实验。那么这个样本的均值 X\overline{{X}} ,也就是 1nk=1nXk\frac{1}{{n}} \sum_{{k}=1}^{{n}} {X}_{{k}} 它始终围绕在 μ\mu 周围,而且它的标准差是 1nσ\frac{1}{\sqrt{{n}}} \sigma ,而且它服从正态分布。这个可以从上面的定理推出来。

上面的随机变量 YY 其实就是把变量 Y=XˉY^{\prime}=\bar{X} 标准化了,变成了均值为 0 ,方差为 1 的正态分布。 同时上面的极限符号也说明了样本大小或随机变量个数 nn 越大, X\overline{\mathrm{X}} 分布就越接近正态分布。当 nn 趋于无穷时,这是 Xˉ\bar{X} 分布的标准差就趋于零,也就是这时候的样本平均值几乎等于总体平均值(数学期望)。

一生产线生产的产品成箱包装,每箱的质量是随机的.假设每箱平均质量为 50kg50 kg ,标准差为 5kg5kg .若用最大载重量为 5t5t 的汽车承运,试利用中心极限定理说明每辆车最多可以装多少箱,才能保障不超载的概率大于 0.9770.977 ?

分析:我们口算一下,使用小学除法,汽车一次运送5000kg, 每箱是50kg50kg,所以,最多可运5000÷50=1005000 \div 50 =100 箱。考虑2个极端:因为每箱误差在±5kg\pm5 kg, 如果每箱误差都在+5kg,则最多可运送 5000÷55=905000 \div 55=90 箱,如果每箱误差在-5kg,则最多可运送5000÷45=1115000 \div 45 =111 ,现在使用中心极限定理来解决此题。

解:设每辆车可以装 nn 箱.记 XiX_i 为第 ii 箱的质量(单位: kg ),i=1,2,,ni=1,2, \cdots, n .由题意知 X1,X2,,XnX_1, X_2, \cdots, X_n 为独立同分布的随机变量,并且 EXi=50E X_i=50DXi=25D X_i=25.

nn 箱的总质量为 Tn=X1+X2++XnT_n=X_1+X_2+\cdots+X_n ,计算得 ETn=50n,DTn=25nE T_n=50 n, D T_n=25 n . 根据列维-林德伯格中心极限定理,TT 近似服从 N(50n,25n)N(50 n, 25 n) 的正态分布。由题意知,

P{Tn5000}=P{Tn50n5n500050n5n}=Φ(100010nn)>0.977Φ(2).\begin{gathered} P\left\{T_n \leqslant 5000\right\}=P\left\{\frac{T_n-50 n}{5 \sqrt{n}} \leqslant \frac{5000-50 n}{5 \sqrt{n}}\right\}=\Phi\left(\frac{1000-10 n}{\sqrt{n}}\right)>0.977 \approx \Phi(2) . \\ \end{gathered}

由此可见,100010nn>2\frac{1000-10 n}{\sqrt{n}}>2 ,从而 n<98.0199n<98.0199 ,即最多可以装 98 箱. 通过此题,可以好好品味一下中心极限定理的思想。

例题

设随机变量 X1,X2,,XnX_1, X_2, \cdots, X_n 相互独立,Sn=X1+X2++XnS_n=X_1+X_2+\cdots+X_n ,则根据列维一林德伯格(Levy-Lindberg)中心极限定理,当 nn 充分大时,SnS_n 近似服从正态分布,只要 X1,X2,,XnX_1, X_2, \cdots, X_n (A)有相同的数学期望 (B)有相同的方差 (C)服从同一指数分布 (D)服从同一离散型分布 分析 列维一林德伯格定理成立的条件有三条:(1)随机变量序列 {Xn}\left\{X_n\right\} 相互独立;(2)各随机变量服从同一分布;(3)各随机变量的数学期望和方差存在.

要判定当 nn 充分大时,Sn=i=1nXiS_n=\sum_{i=1}^n X_i 是否近似服从正态分布,只需验证随机变量序列 {Xn}\left\{X_n\right\} 是否满足上述三个条件即可。

解 根据题意知,选项(A),(B)不能保证 X1,,Xn,X_1, \cdots, X_n, \cdots 同分布;选项(D)不能保证数学期望存在.

因此应选(C).

由于中心极限定理的证明需要注意:

(1)定理的三个条件"独立,同分布,期望和方差存在",缺一不可. (2)只要 XnX_n 满足定理条件,那么当 nn 很大时,独立同分布随机变量的和 i=1nXi\sum_{i=1}^n X_i 近似服从正态分布 N(nμ,nσ2)N\left(n \mu, n \sigma^2\right) ,由此可知,当 nn 很大时,有

P{a<i=1nXi<b}Φ(bnμnσ)Φ(anμnσ)P\left\{a<\sum_{i=1}^n X_i<b\right\} \approx \Phi\left(\frac{b-n \mu}{\sqrt{n} \sigma}\right)-\Phi\left(\frac{a-n \mu}{\sqrt{n} \sigma}\right)

这常常是解题的依据。只要题目涉及独立同分布随机变量的和 i=1nXi\sum_{i=1}^n X_i ,我们就要考虑独立同分布中心极限定理。

某汽车销售点每天出售的汽车数 XX 服从参数为 λ=2\lambda=2 的泊松分布,即 XX \sim P(2)P(2) ,若一年 365 天都经营汽车销售,且每天售出的汽车数是相互独立的,求一年中售出 700辆以上的概率.

解 记 XiX_i 为第 ii 天售出的汽车数,则 Y=X1+X2++X365Y=X_1+X_2+\cdots+X_{365} 为一年的总销售量,由题意知 E(Xi)=D(Xi)=2E\left(X_i\right)=D\left(X_i\right)=2 ,则 E(Y)=D(Y)=365×2=730E(Y)=D(Y)=365 \times 2=730 ,由中心极限定理可得:

P(Y>700)=1P(Y700)=1Φ(700730730)=1Φ(1.11)=0.8665P(Y>700)=1-P(Y \leqslant 700)=1-\Phi\left(\frac{700-730}{\sqrt{730}}\right)=1-\Phi(-1.11)=0.8665 \text {, }

即该销售点一年售出 700 辆以上汽车的概率近似为 0.8665 .

高尔顿钉板实验

如图,有一排有一个板上面有 排钉子,每排相邻的两 个钉子之间的距离均相等。上一排钉子的水平位置恰巧位 于下一排紧邻的两个钉子水平位置的正中间。从上端入口 处放入小球,在下落过程中小球碰到钉子后以相等的可能 性向左或向右偏离,碰到下一排相邻的两个钉子中的一个。 如此继续下去,直到落入底部隔板中的一格中。问当有大 量的小球从上端依次放入,任其自由下落,问小球最终在底 板中堆积的形态. 设钉子有 16 排

图片 首先进行分析。小球堆积的形态取决于小球最终下落在底部隔板的位置的分布。设随机变 量 XX 为 "小球最终下落在底部隔板中的位置" 。又引入随机变量

Xi={1, 小球碰到第 i 排钉子向左下落, 1 小球碰到第 i 排钉子向右下落。 i=1,,nX_i=\left\{\begin{array}{cl} -1, & \text { 小球碰到第 } i \text { 排钉子向左下落, } \\ 1 & \text { 小球碰到第 } i \text { 排钉子向右下落。 } \end{array} i=1, \cdots, n\right.

显然 X=i=1nXiX=\sum_{i=1}^n X_i 和的分布计算是复杂的。有没有其他的方法呢? 经过试验我们观察发现小球堆积形态呈现出中间高两边低的特点,XX 近似服从正态分布。在街头赌博中,庄家在高尔顿钉板的底板两端距离原点超出8格的位置放置了值钱的东西来吸引顾客,试用中心极限定理来揭穿这个街头赌博中的骗术。 解 设 XX 为"小球在底板中的位置",Xi={1, 小球碰到第 i 排钉子向左下落,1 小球碰到第 i 排钉子向右下落。 X_i=\left\{\begin{array}{cl}-1, & \text { 小球碰到第 } i \text { 排钉子向左下落,} \\ 1 & \text { 小球碰到第 } i \text { 排钉子向右下落。 }\end{array}\right. i=1,2,,16i=1,2, \cdots, 16 显然 X1,,X16X_1, \cdots, X_{16} 相互独立且同分布,且 X=i=116XρXiX=\sum_{i=1}^{16} X_\rho \quad X_i 的概率函数如表 图片 所以, 有

E(Xi)=1×0.5+1×0.5=0,E(Xi2)=(1)2×0.5+12×0.5=1,D(Xi)=1,i=1,,16,E(i=116Xi)=16×0=0,D(i=116Xi)=16×1=16,\begin{aligned} & E\left(X_i\right)=-1 \times 0.5+1 \times 0.5=0, \\ & E\left(X_i^2\right)=(-1)^2 \times 0.5+1^2 \times 0.5=1, \\ & D\left(X_i\right)=1, i=1, \cdots, 16, \\ & E\left(\sum_{i=1}^{16} X_i\right)=16 \times 0=0, D\left(\sum_{i=1}^{16} X_i\right)=16 \times 1=16, \end{aligned}

由列维-林德伯格中心极限定理知 X=i=116Xi 近似 N(0,16)X=\sum_{i=1}^{16} X_i \stackrel{\text { 近似 }}{\sim} N(0,16) .因此

P(X>8)=P(X>8)+P(X<8)1Φ(8016)+Φ(8016)=2[1Φ(2)]=0.0456\begin{aligned} P(|X|>8) & =P(X>8)+P(X<-8) \\ & \approx 1-\Phi\left(\frac{8-0}{\sqrt{16}}\right)+\Phi\left(\frac{-8-0}{\sqrt{16}}\right)=2[1-\Phi(2)]=0.0456 \end{aligned}

说明顾客中奖的可能性微平其微。

保险模型

在一家保险公司里有 10000 人参加保险,每人每年付 12 元保险费.在一年内一个人死亡的概率为 0.006 ,死亡后家属可向保险公司领取 1000 元. 试求:(1)保险公司亏本的概率; (2)保险公司一年的利润不少于 60000 元的概率.

解(1)设参加保险的 10000 人中一年死亡的人数为 XX ,则有 XB(10000,0.006),EX=X \sim B(10000,0.006), E X= 60,DX7.72260, D X \approx 7.72^2

公司一年收保险费 120000 元,付给死者家属 1000X1000 X 元.当 1000X120000>01000 X-120000>0 时,即 X>X> 120 时公司就亏本了.所以亏本的概率为:

P{X>120}=1P{X120}.P\{X>120\}=1-P\{X \leqslant 120\} .

由中心极限定理,XX 近似服从 N(60,7.722)N\left(60,7.72^2\right) .于是

P{X>120}=1P{X607.72120607.72}=1P{X607.727.77}1Φ(7.77)11=0.\begin{aligned} P\{X>120\} & =1-P\left\{\frac{X-60}{7.72} \leqslant \frac{120-60}{7.72}\right\}=1-P\left\{\frac{X-60}{7.72} \leqslant 7.77\right\} \\ & \approx 1-\Phi(7.77) \approx 1-1=0 . \end{aligned}

(2)公司年利润不少于 60000 元就是 1200001000X60000120000-1000 X \geqslant 60000 ,即 0X600 \leqslant X \leqslant 60 ,其概率为

P{0X60}=P{0607.72X607.7260607.72}=P{7.77X607.720}Φ(0)Φ(7.77)0.50=0.5.\begin{aligned} P\{0 \leqslant X \leqslant 60\} & =P\left\{\frac{0-60}{7.72} \leqslant \frac{X-60}{7.72} \leqslant \frac{60-60}{7.72}\right\}=P\left\{-7.77 \leqslant \frac{X-60}{7.72} \leqslant 0\right\} \\ & \approx \Phi(0)-\Phi(-7.77) \approx 0.5-0=0.5 . \end{aligned}

三大中心极限定理区别与应用

独立同分布的中心极限定理 limnP(i=1nXinμnσ)x)=x12πet22dt=Φ(x)\left.\lim _{n \rightarrow \infty} P\left(\dfrac{\sum_{i=1}^n X_i-n \mu}{\sqrt{n} \sigma }\right) \le x \right)=\int_{-\infty}^x \frac{1}{\sqrt{2 \pi}} e ^{-\frac{t^2}{2}} d t=\Phi(x)

棣莫弗-拉普拉斯定理 limnP{Xnpnp(1p)x}=x12πet22dt=Φ(x)\lim _{n \rightarrow \infty} P \left\{\dfrac{X-n p}{\sqrt{n p(1-p)}} \leqslant x\right\}=\int_{-\infty}^x \frac{1}{\sqrt{2 \pi}} e ^{-\frac{t^2}{2}} dt =\Phi(x)

李雅普诺夫定理 limnP{i=1nXii=1nμik=1nσk2x}=x12πet22dt=Φ(x)\lim _{n \rightarrow \infty} P\left\{\dfrac{\sum_{i=1}^n X_i-\sum_{i=1}^n \mu_i }{\sqrt{\sum_{k=1}^n \sigma_k^2}} \leqslant x \right\}=\int_{-\infty}^x \frac{1}{\sqrt{2 \pi}} e ^{-\frac{t^2}{2}} d t=\Phi(x)

背景

首先,列维-林德伯格定理,也就是独立同分布的中心极限定理,适用于独立同分布的随机变量序列,只要期望和方差存在,标准化后的和趋近于正态分布。这个定理是中心极限定理中最经典的形式,应用广泛,比如在统计学中的大样本推断。

然后是棣莫弗-拉普拉斯定理,它其实是列维-林德伯格定理的一个特例,专门针对二项分布的情况。当试验次数n很大时,二项分布可以用正态分布来近似。这个定理在概率论早期由棣莫弗提出,后来拉普拉斯推广,所以名字是两个人的。

接下来是李雅普诺夫定理,属于独立不同分布情况下的中心极限定理。李雅普诺夫放宽了条件,允许随机变量不同分布,但需要满足李雅普诺夫条件,即存在某个δ>0,使得高阶矩的条件成立。这样,即使变量不同分布,只要满足条件,标准化后的和仍然趋近于正态分布。

核心条件与适用范围

定理独立性分布特征矩条件通俗理解
列维-林德伯格定理独立同分布同分布,存在期望和方差仅需一阶、二阶矩存在同分布数据的“平均化”效应,如多次测量取平均后趋近正态分布。
棣莫弗-拉普拉斯定理独立同分布二项分布(特殊同分布)仅需一阶、二阶矩存在二项分布中成功与失败的独立叠加,当试验次数极大时,整体结果呈现正态性。 是列维-林德伯格定理的特例 。
李雅普诺夫定理独立不同分布允许不同分布需满足李雅普诺夫条件(存在 δ>0\delta >0 ),高阶矩有界)独立不同分布随机变量序列的标准化和依分布收敛于标准正态分布 。

应用场景对比

场景适用定理典型问题
同分布数据列维-林德伯格定理大样本均值估计(如重复实验测量误差分析) 。
二项分布近似棣莫弗-拉普拉斯定理抛硬币、抽样调查中成功次数的正态近似 。
异质数据融合李雅普诺夫定理多源传感器数据叠加、金融风险模型中不同资产波动的综合影响 。