12._矩母函数 - 概率论与数理统计

矩母函数

矩母函数是讨论随机变量和的一个有力的工具，同时它也给出了随机变量的分布与其各阶矩间的关系。

对每一个随机变量我们都可以根据其分布来定义它的矩母函数．下面分别对离散型随机变量和连续型随机变量给出其矩时函数的定义。

定义设 $\xi$ 是离散型随机变量，其分布列为

\left(\begin{array}{lllll} x_1, & x_i, & \cdots & x_n, & \cdots \\ p\left(x_1\right), & p\left(x_2\right), & \cdots & p\left(x_n\right), & \cdots \end{array}\right)

则离散型函数

\boxed{ M_{{\xi}(t)}=\sum_{t=1}^{\infty} e^{t x} jp\left(x_j\right) }

称为 $\xi$ 的矩母函数．

（2）若 $\xi$ 是具有分布密度为 $f(x)$ 的连续型随机变量，则定义其矩母函数为

\boxed { M_{{\xi}(t)}=\int_{-\infty}^{\infty} e^{t x} f(x) d x }

为什么引入矩母函数

矩母函数，顾名思义，就是“k阶矩”的母亲，换句话说，用他来生成1阶矩，2阶矩，k阶矩。如果仔细观察矩母函数，可以发现他们额外引入了一个参数： $e^x$ 数学家们太喜欢 $e^x$ ，因为 $(e^x)'=e^x, \int e^x=e^x$ ，这给计算带来了方便。

把 $e^x$ 泰勒展开

\mathrm{e}^x=1+x+\frac{1}{2!} x^2+\cdots+\frac{1}{n!} x^n+o\left(x^n\right)

可以看到，当需要的精度不同，只要取前面 $n$ 项就可以了。

那么对于矩，我们也有类似的想法

\begin{aligned} E\left(e^{t x}\right) & =E\left(1+t x+\frac{(t x)^2}{2!}+\frac{(t x)^3}{3!}+\cdots+\frac{(t x)^n}{n!}\right) \\ & =E(1)+t E(x)+\frac{t^2}{2!} E\left(x^2\right)+\frac{t^3}{3!} E\left(x^3\right)+\cdots+\frac{t^n}{n!} E\left(x^n\right) \end{aligned}

然后求导

\begin{aligned} \frac{d}{d t} E\left(e^{t x}\right)= & \frac{d}{d t}\left(E(1)+t E(x)+\frac{t^2}{2!} E\left(x^2\right)+\frac{t^3}{3!} E\left(x^3\right)+\cdots+\frac{t^n}{n!} E\left(x^n\right)\right) \\ = & 0+E(x)+0+0+\cdots+0 \\ = & E(x) \end{aligned}

当我第一次看到矩母函数时，我无法理解 $t$ 在函数中的作用，因为 $t$ 似乎是一些我不感兴趣的任意变量。然而，正如你所看到的， $t$ 是一个辅助变量。我们引入 $t$ 是为了能够使用微积分（导数），并使（我们不感兴趣的）项为零。

但是我们可以直接了当，使用期望值的定义来计算矩，如下

E\left(X^n\right)=\int_{-\infty}^{\infty} x^n \cdot \operatorname{pdf}(x), d x

为什么我们还需要矩母函数？

答案是：方便比如我们知道指数分布的密度函数是

f_x(x)= \begin{cases}\lambda \cdot e^{-\lambda x} & \text { if } x>0 \\ 0 & \text { else }\end{cases}

计算他的矩母函数

\begin{aligned} M G F_x(t)=E\left[e^{t x}\right] & =\int_0^{\infty} e^{t x} \cdot \lambda e^{-\lambda x} d x \\ & =\lambda \int_0^{\infty} e^{(t-\lambda) x} d x \end{aligned}

\begin{aligned} & =\lambda\left|\frac{1}{t-\lambda} e^{(t-\lambda) x}\right|_0^{\infty} \\ & =\lambda\left(0-\frac{1}{t-\lambda}\right)=\frac{\lambda}{\lambda-t} \end{aligned}

对于存在的矩母函数，应该存在期望值 $E\left(e^t x\right)$ 。这就是为什么＂ $t-\lambda<0$ ＂是要满足的重要条件的原因，因为，不满足积分将不会收敛。（这称为散度检验，这是在尝试确定积分是收敛还是发散时首先要检查的内容。）

一旦有了矩母函数： $\lambda /(\lambda-t)$ ，计算矩就变成了求导数的问题，这比积分更容易直接计算期望值。

看看下面两个函数求3阶矩,你是喜欢用求导计算还是积分计算

E\left(x^3\right)=\frac{d^3}{d t^3}\left(\frac{\lambda}{\lambda-t}\right) \quad \text { or } \quad E\left(x^3\right)=\int_0^{\infty} x^3 \lambda e^{-\lambda x} d x

当然是求导了，使用矩母函数，可以通过求导数而不是积分来计算矩！

例 设 $\xi$ 是在 $〔 a, b 〕$ 上均匀分布的随机变量，则

M_t(t)=\int_a^b-\frac{e^{t x}}{b-a} d x=\frac{1}{t(b-a)} \cdot\left[e^{b t}-e^{a t}\right]

例 设 $\xi$ 服从参数为 $n, p$ 的二项分布，则其矩母函数为

\begin{aligned} M_t(t) & =\sum_{k=0}^n e^t\binom{n}{k} p^k(1-p)^{n-k} \\ & =\sum_{k=0}^n\binom{n}{k}\left(p e^t\right)^k(1-p)^{n-k} \\ & =\left[p e^t+(1-p)\right]^n \end{aligned}

例 设 $\xi$ 服从参数为 $\lambda$ 的Poisson分布，则

\begin{aligned} M_t(t) & =\sum_{k=0}^{\infty} e^{t k} \frac{\lambda^k e^{-1}}{k!}=e^{-\lambda} \sum_{k=j}^{\infty} \frac{\left(\lambda e^t\right)^k}{k!} \\ & =e^{-\lambda} e^{i e^t}=e^{\lambda\left(e^t-1\right)} \end{aligned}

例 设 $\xi$ 服从参数为 $a$ 的指数分布，财

M_k(t)=\int_0^{\infty} e^{t x} \alpha e^{-\alpha x} d x=\alpha \int_0^{\infty} e^{(t-\alpha) x} d x

上面积分只有当 $t<a$ 时收敛，所以只有这样的 $t$ 值矩母函数才存在，于是

M_{\xi}(t)-\left.\frac{a}{t-a} e^{x(t-a)}\right|_0 ^{\infty}=\frac{a}{a-t} \quad \text { 当 } t<\alpha \text { 时. }

例 设 $\xi$ 服从参数为 $\alpha$ 和 $\gamma$ 的加马分布，则

\begin{aligned} M_t(t) & =\frac{a}{\Gamma(\gamma)} \int_0^{\infty} e^{t x}(\alpha x)^{\gamma-1} e^{-\alpha x} d x \\ & =\frac{\alpha^\gamma}{\Gamma(\gamma)} \int_0^{\infty} x^{\gamma-1} e^{-x(\alpha-t)} d x \end{aligned}

这个积分当 $a>t$ 时收敛，令 $x(a-t)=u$ ，这样 $d x=d u /(\alpha-t)$ ，则

\begin{aligned} M_5(t) & =-\frac{a}{(a-t)} \Gamma \overline{(\gamma)} \int_0^{\infty}\left(-\frac{u}{a-t}\right)^{\gamma-1} e^{-u} d u \\ & =\left(\frac{a}{a-t}\right)^\gamma \frac{1}{\Gamma(\gamma)} \int_0^{\infty} u^{\gamma-1} e^{-u} d u \\ & =\left(\frac{a}{a-t}\right)^\gamma \end{aligned}

矩母函数有几个重要性质

性质1 若随机变量 $\xi$ 的矩母函数 $M_{\xi}(t)$ 对于 $t \in\left(-t_0, t_0\right)$ 存在 $\left(t_0>0\right)$ ，则有

\left.M_{\xi}^{(n)}(t)\right|_{t=0}=E \xi^n

由此可见，随机变量的各阶矩可看成由函数 $M_{\xi}(t)$ 产生的，故称之为矩母函数．

性质2：设随机变量 $\xi$ 的矩母函数为 $M_{\xi}(t)$ ，令 $\eta=\alpha \xi+\beta$ ，则 $\eta$ 的矩母函数 $M_\eta(t)$ 为

M_\eta(t)=e^{\beta \prime} M_{\xi}(\alpha t)

证明

\begin{gathered} M_\eta(t)=E\left(e^{t \eta}\right)=E\left(e^{(n \xi+\beta) t}\right) \\ =e^{\beta t} E\left(e^{\alpha \xi t}\right)=e^{\beta t} M_{\xi}(a t) \end{gathered}

性质3（唯一性定理）设随机变量 $\xi, \eta$ 的矩母函数分别为 $M_{\xi}(t)$ 和 $M_{\eta}(t)$ ．若对一切 $t$ 值有 $M_{\xi}(t)=M_{\eta}(t)$ ，则 $\xi$ 与 $\eta$ 具有相同的概率分有。

证明略去

这个定理告诉我们若两个隨机变典的矩母函数相同，则它们就有相同的概率分布，就是说，矩母函数唯一确定随机变量的概率分布．

性质4 设 $\xi$ 和 $\eta$ 是两个相互独立的随机变量， $\zeta=\xi+\eta$ ，令 $M_{\xi}(t), M_{\eta}(t)$ 和 $M_{\zeta}(t)$ 分别为 $\xi$ ， $\eta$ 和 $\zeta$ 的矩母函数，则 $M_\zeta(t)=M_{\xi}(t) \cdot M_{\eta}(t)$ ．

证明

\begin{aligned} M_\zeta(t) & =E\left(e^{\zeta t}\right)=E\left[e^{(\xi+\eta) t}\right]=E\left(e^{\xi t} e^{\eta t}\right) \\ & =E\left(e^{\xi t}\right) \cdot E\left(e^{\eta t}\right)=M_\zeta(t) M_\eta(t) \end{aligned}

注这个定理可进一步推广：若 $\xi_1, \xi_2, \cdots, \xi_n$ 是 $n$ 个相互独立随机变量，其矩母函数分别是 $M_{\xi_1}(t), \cdots, M_{\xi_n}(t)$ ，又设 $M_\zeta(t)$ 是 $\zeta=\xi_1+\xi_2+\cdots+\xi_n$ 的矩母函数，则 $M_\zeta(t)=M_s,(t) \cdots M_{s_n}(t)$ ．