21._生成函数的引入 - 概率论与数理统计

数学中有种常见的抱怨：如果逐行地看，我可以理解整个证明，但谁又能想到要这样做呢！在概率论的所有领域中，生成函数是最容易出现这种抱怨的地方。乍一看，这似乎让我们的生活变得不必要地复杂。但是，在本文的后面，你会看到生成函数可以解决很多种的问题．此外，当你继续学习时，花在这些技巧上的时间会不断带来回报，因为这些技巧不仅适用于概率论，还贯穿于整个数学物理学。

这些技巧有这么大帮助的原因是，我们可以把问题的大量相关信息进行汇总。你可能会怀疑这样做是否值得，但我们会不断看到，这种新观点简化了需要做的代数运算。我们会从之前的课程中提取出一些具有启发性的例子，并说明改变观点是如何帮你节省时间的，然后再描述生成函数的一些性质和应用。虽然很多问题都难以找到可以正确使用的生成函数，但大量有用的问题都可以用一些小技巧来处理．

在概率论中，生成函数最重要的用途是理解随机变量的矩。正如我们所知道的，可以通过这些矩来了解分布的形状．生成函数的一个非常强大的应用就是证明中心极限定理。中心极限定理告诉我们，在很多情况下，对于相互独立的随机变量而言，随着变量个数的不断增加，变量和会趋向于一个高斯分布。

动机

在数学中，我们经常遇到复杂的数据集，然后对它做运算，使它变得更加复杂！例如，假设第一个数据集是随机变量 $X_1$ 取给定值的概率，第二个数据集是随机变量 $X_2$ 取给定值的概率．利用这些信息，我们可以通过蛮力计算来确定 $X_1+X_2$ 取某个值的概率，但是仍希望可以尽量避免这些烦琐的计算，接下来，我们将详细地研究这个问题的特殊情形，假设两个随机变量均服从泊松分布，我们看看如何通过引入生成函数来自动处理代数运算。

不妨设 $X_1$ 服从参数为 5 的泊松分布， $X_2$ 服从参数为 7 的泊松分布．这意味着

\begin{aligned} \operatorname{P}\left(X_1=m\right) & =5^m e^{-5} / m! \\ \operatorname{P}\left(X_2=n\right) & =7^n e^{-7} / n! \end{aligned}

其中， $m$ 和 $n$ 均取遍所有的非负整数。如果 $k$ 是非负整数，那么通过考察两个非负整数之和为 $k$ 的所有可能情况，我们能求出 $X_1+X_2=k$ 的概率．显然， $X_1$ 的取值一定介于 0 和 $k$ 之间。如果 $X_1=l$ ，那么 $X_2$ 一定等于 $k-l$ 。由于这两个随机变量是相互独立的，发生这种情况的概率就是 $X_1=l$ 的概率与 $X_2=k-l$ 的概率的乘积．如果对 $l$ 求和，就得到了 $X_1+X_2$ 等于 $k$ 的概率：

\begin{aligned} \operatorname{P}\left(X_1+X_2=k\right) & =\sum_{l=0}^k \operatorname{P}\left(X_1=l\right) \operatorname{P}\left(X_2=k-l\right) \\ & =\sum_{l=0}^k \frac{5^l e^{-5}}{l!} \cdot \frac{7^{k-l} e^{-7}}{(k-l)!} \end{aligned}

对于一般的随机变量之和，我们很难用一种更通用性的函数表达式来数学。但是，如果碰巧想到了下面的简化过程，就能很幸运地得到服从泊松分布的随机变量之和！（1）首先注意到，我们有因子 $1 / l!(k-l)!$ ．这几乎等于 $\binom{k}{l}$ ，也就是 $k!/ l!(k-l)$ ！．我们要使用数学中最有用的技巧之一，即巧妙地乘以 1 ，我们把 1 写成 $k!/ k$ ！那么上述因子就变成了 $\binom{k}{l} / k!$ 。由于这里对 $l$ 求和，所以 $1 / k!$ 可提到和式外面．（2）和式中的 $e ^{-5}$ 和 $e ^{-7}$ 与 $l$ 无关，因此也可以提取出来，这样就得到了 $e ^{-12}$ 。（3）现在得到了 $\frac{ e ^{-12}}{k!} \sum_{l=0}^k\binom{k}{l} 5^l 7^{k-l}$ 。回忆一下二项式定理，我们发现 $l$ 的和式就等于 $(5+7)^k$ ，即 $12^k$ 。综上所述，可得

\operatorname{P}\left(X_1+X_2=k\right)=\frac{12^k e^{-12}}{k!}

注意，这是参数为 $12(12=5+7)$ 的泊松分布的概率密度函数．在上面的论述中， 5 和 7 没有任何特别之处。对于更一般的情形，如果两个随机变量分别服从参数为 $\lambda_1$ 和 $\lambda_2$ 的泊松分布，那么它们的和将服从参数为 $\lambda_1+\lambda_2$ 的泊松分布。

这个论述可以做进一步推广．由归纳法（或者通过巧妙地分组）可知服从泊松分布的随机变量之和：已知 $n$ 个相互独立的随机变量．如果它们分别服从参数为 $\lambda_1, \cdots, \lambda_n$ 的泊松分布，那么它们的和就服从参数为 $\lambda_1+\cdots+\lambda_n$ 的泊松分布。

非常幸运，我们找到了一种＂自然＂的方法来处理这种情形下的代数运算，从而能够看出答案．如果考察其他随机变量之和，情况又是什么样的呢？我们希望得一个通用的方法,而不需要看出这些聪明的代数技巧.幸运的是, 有这样的方法, 它就是生成函数理论.我们首先描述生成函数是什么(它有几种形式. 根据你研究内容的不同,有些形式会比其他形式更有用),然后展示一些相关应用.