总体分布的卡方检验法 前面讨论的参数检验问题是在总体分布类型已知的情况下,对其中的未知参数进行检验。在实际问题中,有时并不知道总体的具体分布情况,这时就需要从总体中抽取的样本对总体的分布进行推断,以判断总体服从何种分布,这类统计检验称为非参数检验。例如检验假设"总体服从正态分布"等。本节仅介绍 χ 2 \chi^2 χ 2 拟合优度检验,又简称 χ 2 \chi^2 χ 2 检验法,它是英国统计学家老皮尔逊(K.Pearson,1857-1936年)于1900年提出的,不少人把此项工作视为近代统计学的开端。
χ 2 \chi^2 χ 2 检验法是在总体 X X X 的分布未知时,根据来自总体的样本,检验总体分布的假设的一种检验方法.设 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 是来自总体 F ( x ) F(x) F ( x ) 的样本,F 0 ( x ) F_0(x) F 0 ( x ) 是理论分布,检验问题的原假设是
H 0 : F ( x ) = F 0 ( x ) , H_0: F(x)=F_0(x), H 0 : F ( x ) = F 0 ( x ) , 该分布的检验问题是根据样本的观察值 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n 的数据判断是否与理论分布相合.样本量较大时,可以用 χ 2 \chi^2 χ 2 拟合优度检验。这类问题可以分以下两种情况来讨论。
总体 X X X 为离散型分布 设总体 X X X 是取值为有限个或可列个 b 1 , b 2 , ⋯ b_1, b_2, \cdots b 1 , b 2 , ⋯ 的离散随机变量,将相邻的某些 b i b_i b i 合并为一类,且样本观察值 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n 落入每一个类内的个数不小于 5 ,记 B 1 , B 2 , ⋯ , B k B_1, B_2, \cdots, B_k B 1 , B 2 , ⋯ , B k 为 b 1 , b 2 , ⋯ b_1, b_2, \cdots b 1 , b 2 , ⋯ 被分的 k k k 个类,n i n_i n i 为每一个 B i B_i B i 内的个数.记
P ( X ∈ B i ) = p i ( i = 1 , 2 , ⋯ , k ) , P\left(X \in B_i\right)=p_i \quad(i=1,2, \cdots, k), P ( X ∈ B i ) = p i ( i = 1 , 2 , ⋯ , k ) , 则假设
H 0 : F ( x ) = F 0 ( x ) H_0: F(x)=F_0(x) H 0 : F ( x ) = F 0 ( x ) 可以转化为如下假设
H 0 : B i 所占的比例为 p i ( i = 1 , 2 , ⋯ , k ) , H_0: B_i \text { 所占的比例为 } p_i \quad(i=1,2, \cdots, k) \text {, } H 0 : B i 所占的比例为 p i ( i = 1 , 2 , ⋯ , k ) , 即
H 0 : P ( B i ) = p i ( i = 1 , 2 , ⋯ , k ) H_0: \quad P\left(B_i\right)=p_i \quad(i=1,2, \cdots, k) H 0 : P ( B i ) = p i ( i = 1 , 2 , ⋯ , k ) 现对总体做了 n n n 次观察,各类出现的观察频数分别为 n 1 , n 2 , ⋯ , n k n_1, n_2, \cdots, n_k n 1 , n 2 , ⋯ , n k ,且
∑ i = 1 k n i = n \sum_{i=1}^k n_i=n i = 1 ∑ k n i = n 当 H 0 H_0 H 0 为真时,则各概率 p i p_i p i 与频率 n i n \frac{n_i}{n} n n i 相差应该不大,或者各观察频数 n i n_i n i 对期望频数 n p i n p_i n p i 的偏差( n i − n p i n_i-n p_i n i − n p i )不大.英国统计学家老皮尔逊提出了基于观察频数和期望频数之差的检验统计量
χ 2 = ∑ i = 1 k ( n i − n p i ) 2 n p i . \chi^2=\sum_{i=1}^k \frac{\left(n_i-n p_i\right)^2}{n p_i} . χ 2 = i = 1 ∑ k n p i ( n i − n p i ) 2 . 其中取偏差平方是为了把偏差积累起来,每项除以 n p i n p_i n p i 是要求期望频数 n p i n p_i n p i 较小时,偏差平方 ( n i − n p i ) 2 \left(n_i-n p_i\right)^2 ( n i − n p i ) 2 更小才合理。并证明了下列结论。
定理 当 n n n 充分大 ( n ⩾ 50 ) (n \geqslant 50) ( n ⩾ 50 ) 时,则统计量 χ 2 = ∑ i = 1 k ( n − n p i ) 2 n p i \chi^2=\sum_{i=1}^k \frac{\left(n-n p_i\right)^2}{n p_i} χ 2 = ∑ i = 1 k n p i ( n − n p i ) 2 近似服从 χ 2 ( k − 1 ) \chi^2(k-1) χ 2 ( k − 1 ) 分布.
证明 略。
根据该定理,对给定的显著性水平 α \alpha α ,确定 l l l 值,使
P { χ 2 > l } = α P\left\{\chi^2>l\right\}=\alpha P { χ 2 > l } = α 求得 l = χ α 2 ( k − 1 ) l=\chi_\alpha^2(k-1) l = χ α 2 ( k − 1 ) ,所以拒绝域为
χ 2 > χ α 2 ( k − 1 ) \chi^2>\chi_\alpha^2(k-1) χ 2 > χ α 2 ( k − 1 ) 若由所给的样本值 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n 算得统计量 χ 2 \chi^2 χ 2 的实测值落入拒绝域,则拒绝原假设 H 0 H_0 H 0 ,否则就认为差异不显著而接受原假设 H 0 H_0 H 0 .
例 将一颗骰子郑 120 次,所得数据为
问这颗骰子是否均匀,对称(取 α = 0.05 \alpha=0.05 α = 0.05 )?
解 若这颗骰子是均匀的,对称的,则 1 ∼ 6 1 \sim 6 1 ∼ 6 点中每点出现的可能性相同,都为 1 / 6 1 / 6 1/6 .如果用 A i A_i A i 表示第 i i i 点出现 ( i = 1 , 2 , ⋯ , 6 ) (i=1,2, \cdots, 6) ( i = 1 , 2 , ⋯ , 6 ) ,则待检验假设 H 0 : P ( A i ) = 1 / 6 , i = 1 , 2 ⋯ , 6 H_0: P\left(A_i\right)=1 / 6, i=1,2 \cdots, 6 H 0 : P ( A i ) = 1/6 , i = 1 , 2 ⋯ , 6 。
在 H 0 H_0 H 0 成立的条件下,理论概率 p i = p ( A i ) = 1 / 6 p_i=p\left(A_i\right)=1 / 6 p i = p ( A i ) = 1/6 ,由 n = 120 n=120 n = 120 得频率 n p i = 20 n p_i=20 n p i = 20 .
计算结果如下.
因此分布不含未知参数,又 k = 6 , α = 0.05 k=6, \alpha=0.05 k = 6 , α = 0.05 ,查表得 χ α 2 ( k − 1 ) = χ 0.05 2 ( 5 ) = 11.071 \chi_\alpha^2(k-1)=\chi_{0.05}^2(5)=11.071 χ α 2 ( k − 1 ) = χ 0.05 2 ( 5 ) = 11.071 .
由上表知 χ 2 = ∑ i = 1 6 ( n i − n p i ) 2 n p i = 4.8 < 11.071 \chi^2=\sum_{i=1}^6 \frac{\left(n_i-n p_i\right)^2}{n p_i}=4.8<11.071 χ 2 = ∑ i = 1 6 n p i ( n i − n p i ) 2 = 4.8 < 11.071 ,故接受 H 0 H_0 H 0 ,认为这颗骰子是均匀对称的.
总体 X X X 为连续型分布 设 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 是来自总体 X X X 的一个样本,其观察值为 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x 1 , x 2 , ⋯ , x n ,总体分布未知,现想用一个已知连续分布函数 F 0 ( x ) F_0(x) F 0 ( x ) 去拟合这批数据,故需要对如下假设做出检验:
H 0 : X 服从连续分布 F 0 ( x ) H_0: X \text { 服从连续分布 } F_0(x) H 0 : X 服从连续分布 F 0 ( x ) 这类问题称为连续分布的拟合优度检验问题。具体步骤如下.
(1)把 X X X 的取值范围划分为 k k k 个互不相交的小区间,记为 A 1 , A 2 , ⋯ , A k A_1, A_2, \cdots, A_k A 1 , A 2 , ⋯ , A k ,如可取为
( a 0 , a 1 ] , ( a 1 , a 2 ] , ⋯ , ( a k − 2 , a k − 1 ] , ( a k − 1 , a k ) \left(a_0, a_1\right],\left(a_1, a_2\right], \cdots,\left(a_{k-2}, a_{k-1}\right],\left(a_{k-1}, a_k\right) ( a 0 , a 1 ] , ( a 1 , a 2 ] , ⋯ , ( a k − 2 , a k − 1 ] , ( a k − 1 , a k ) 其中 a 0 < a 1 < ⋯ < a k − 1 < a k , a 0 a_0<a_1<\cdots<a_{k-1}<a_k, a_0 a 0 < a 1 < ⋯ < a k − 1 < a k , a 0 可取 − ∞ , a k -\infty, a_k − ∞ , a k 可取 + ∞ +\infty + ∞ ;区间的划分视具体情况而定,使每个小区间所含样本值个数不小于 5 ,而区间个数 k k k 不要太大,也不要太小;
(2)当落入第 i i i 个区间内时,就把它看成属于 A i A_i A i 类,因此这 k k k 个区间相当于 k k k 类.在 H 0 H_0 H 0 为真时,可算出总体 X X X 的值落入第 i i i 个小区间 A i A_i A i 的概率
p i = P ( a i − 1 < X < a i ) = F 0 ( a i ) − F 0 ( a i − 1 ) , i = 1 , 2 , ⋯ , k p_i=P\left(a_{i-1}<X<a_i\right)=F_0\left(a_i\right)-F_0\left(a_{i-1}\right), \quad i=1,2, \cdots, k p i = P ( a i − 1 < X < a i ) = F 0 ( a i ) − F 0 ( a i − 1 ) , i = 1 , 2 , ⋯ , k 样本观测值落入这 k k k 个区间的频数分别为 n 1 , n 2 , ⋯ , n k n_1, n_2, \cdots, n_k n 1 , n 2 , ⋯ , n k .接下来的步骤与离散型分布类似.
在对总体分布的假设检验中,有时只知道总体 X X X 的分布函数的形式,但其中还含有末知参数,即分布函数为
F ( x , θ 1 , θ 2 , ⋯ , θ r ) , F\left(x, \theta_1, \theta_2, \cdots, \theta_r\right), F ( x , θ 1 , θ 2 , ⋯ , θ r ) , 其中 θ 1 , θ 2 , ⋯ , θ r \theta_1, \theta_2, \cdots, \theta_r θ 1 , θ 2 , ⋯ , θ r 为未知参数.设 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 是取自总体 X X X 的样本,现要用此样本来检验假设:
H 0 : 总体 X 的分布函数为 F ( x , θ 1 , θ 2 , ⋯ , θ r ) , H_0 \text { : 总体 } X \text { 的分布函数为 } F\left(x, \theta_1, \theta_2, \cdots, \theta_r\right) \text {, } H 0 : 总体 X 的分布函数为 F ( x , θ 1 , θ 2 , ⋯ , θ r ) , 此类情况可按如下步骤进行检验:
(1)利用样本 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n 求出 θ 1 , θ 2 , ⋯ , θ r \theta_1, \theta_2, \cdots, \theta_r θ 1 , θ 2 , ⋯ , θ r 的最大似然估计 θ ^ 1 , θ ^ 2 , ⋯ , θ ^ r \hat{\theta}_1, \hat{\theta}_2, \cdots, \hat{\theta}_r θ ^ 1 , θ ^ 2 , ⋯ , θ ^ r ;
(2)用 θ ^ i \hat{\theta}_i θ ^ i 代替 F ( x , θ 1 , θ 2 , ⋯ , θ r ) F\left(x, \theta_1, \theta_2, \cdots, \theta_r\right) F ( x , θ 1 , θ 2 , ⋯ , θ r ) 中的 θ i ( i = 1 , 2 , ⋯ , r ) \theta_i(i=1,2, \cdots, r) θ i ( i = 1 , 2 , ⋯ , r ) ;
(3)利用 F ( x , θ ^ 1 , θ ^ 2 , ⋯ , θ ^ r ) F\left(x, \hat{\theta}_1, \hat{\theta}_2, \cdots, \hat{\theta}_r\right) F ( x , θ ^ 1 , θ ^ 2 , ⋯ , θ ^ r ) 计算 p i p_i p i 的估计值 p ^ i ( i = 1 , 2 , ⋯ , k ) \hat{p}_i(i=1,2, \cdots, k) p ^ i ( i = 1 , 2 , ⋯ , k ) ;
(4)计算要检验的统计量
χ 2 = ∑ i = 1 k ( n i − n p ^ i ) 2 / n p ^ i \chi^2=\sum_{i=1}^k\left(n_i-n \hat{p}_i\right)^2 / n \hat{p}_i χ 2 = i = 1 ∑ k ( n i − n p ^ i ) 2 / n p ^ i 当 n n n 充分大时,统计量 χ 2 \chi^2 χ 2 近似服从 χ α 2 ( k − r − 1 ) \chi_\alpha^2(k-r-1) χ α 2 ( k − r − 1 ) 分布,其中 k k k 为互不相交的小区间的个数, r r r 是被估计的参数的个数。
(5)对给定的显著性水平 α \alpha α ,得拒绝域
χ 2 = ∑ i = 1 k ( n i − n p ^ i ) 2 / n p ^ i > χ α 2 ( k − r − 1 ) . \chi^2=\sum_{i=1}^k\left(n_i-n \hat{p}_i\right)^2 / n \hat{p}_i>\chi_\alpha^2(k-r-1) . χ 2 = i = 1 ∑ k ( n i − n p ^ i ) 2 / n p ^ i > χ α 2 ( k − r − 1 ) . 注意:在使用皮尔逊 χ 2 \chi^2 χ 2 检验法时,要求 n ⩾ 50 n \geqslant 50 n ⩾ 50 ,以及每个理论频数 n p i ⩾ 5 ( i = 1 , ⋯ , k ) n p_i \geqslant 5(i=1, \cdots, k) n p i ⩾ 5 ( i = 1 , ⋯ , k ) ,否则应适当地合并相邻的小区间,使 n p i n p_i n p i 满足要求。
例研究混凝土抗压强度的分布. 200 件混凝土制件的抗压强度以分组形式列出(如表 8.4.1 所示).n = ∑ i = 1 6 n i = 200 n=\sum_{i=1}^6 n_i=200 n = ∑ i = 1 6 n i = 200 .要求在给定的检验水平 α = 0.05 \alpha=0.05 α = 0.05 下检验假设
H 0 : 抗压强度 X ∼ N ( μ , σ 2 ) . H_0: \text { 抗压强度 } X \sim N\left(\mu, \sigma^2\right) \text {. } H 0 : 抗压强度 X ∼ N ( μ , σ 2 ) . 表 8.4.1 200 件混凝土制件的抗压强度
解 原假设所定的正态分布的参数是未知的,需先求 μ \mu μ 和 σ 2 \sigma^2 σ 2 的极大似然估计值.由第 7章知,μ \mu μ 和 σ 2 \sigma^2 σ 2 的极大似然估计值为
μ ^ = x ˉ σ ^ 2 = ∑ i = 1 n ( x i − x ˉ ) 2 / n \begin{gathered}
\hat{\mu}=\bar{x} \\
\hat{\sigma}^2=\sum_{i=1}^n\left(x_i-\bar{x}\right)^2 / n
\end{gathered} μ ^ = x ˉ σ ^ 2 = i = 1 ∑ n ( x i − x ˉ ) 2 / n 设 x i ∗ x_i^* x i ∗ 为第 i i i 组的组中值,有
x ˉ = 1 n ∑ i = 1 6 x i ∗ n i = 195 × 10 + 205 × 26 + ⋯ + 245 × 14 200 = 221 , σ ^ 2 = 1 n ∑ i = 1 n ( x i ∗ − x ˉ ) 2 n i = 1 200 { ( − 26 ) 2 × 10 + ( − 16 ) 2 × 26 + ⋯ + 24 2 × 14 } = 152 , σ ^ = 12.33. \begin{gathered}
\bar{x}=\frac{1}{n} \sum_{i=1}^6 x_i^* n_i=\frac{195 \times 10+205 \times 26+\cdots+245 \times 14}{200}=221, \\
\hat{\sigma}^2=\frac{1}{n} \sum_{i=1}^n\left(x_i^*-\bar{x}\right)^2 n_i=\frac{1}{200}\left\{(-26)^2 \times 10+(-16)^2 \times 26+\cdots+24^2 \times 14\right\}=152, \\
\hat{\sigma}=12.33 .
\end{gathered} x ˉ = n 1 i = 1 ∑ 6 x i ∗ n i = 200 195 × 10 + 205 × 26 + ⋯ + 245 × 14 = 221 , σ ^ 2 = n 1 i = 1 ∑ n ( x i ∗ − x ˉ ) 2 n i = 200 1 { ( − 26 ) 2 × 10 + ( − 16 ) 2 × 26 + ⋯ + 2 4 2 × 14 } = 152 , σ ^ = 12.33. 原假设 H 0 H_0 H 0 改写成 X X X 是正态 N ( 221 , 12.33 2 ) N\left(221,12.33^2\right) N ( 221 , 12.3 3 2 ) 分布,计算每个区间的理论概率值
p ^ i = P ( a i − 1 < X < a i ) = Φ ( μ i ) − Φ ( μ i − 1 ) , i = 1 , 2 , ⋯ , 6 \hat{p}_i=P\left(a_{i-1}<X<a_i\right)=\Phi\left(\mu_i\right)-\Phi\left(\mu_{i-1}\right), \quad i=1,2, \cdots, 6 p ^ i = P ( a i − 1 < X < a i ) = Φ ( μ i ) − Φ ( μ i − 1 ) , i = 1 , 2 , ⋯ , 6 其中
μ i = a i − x ˉ σ ^ \mu_i=\frac{a_i-\bar{x}}{\hat{\sigma}} μ i = σ ^ a i − x ˉ Φ ( μ i ) = 1 2 π ∫ − ∞ μ i e − t 2 2 d t \Phi\left(\mu_i\right)=\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{\mu_i} e^{-\frac{t^2}{2}} d t Φ ( μ i ) = 2 π 1 ∫ − ∞ μ i e − 2 t 2 d t 为了计算统计量 χ 2 \chi^2 χ 2 的值,把需要进行的计算列表,如表 8.4.2 所示.
从上面计算得出 χ 2 \chi^2 χ 2 的观察值为 1.33 .在检验水平 a = 0.05 a=0.05 a = 0.05 下,查自由度 m = 6 − 2 − 1 = 3 m=6-2-1=3 m = 6 − 2 − 1 = 3 的 χ 2 \chi^2 χ 2 分布表,得到临界值 χ 0.05 2 ( 3 ) = 7.815 \chi_{0.05}^2(3)=7.815 χ 0.05 2 ( 3 ) = 7.815 .由于 χ 2 = 1.33 < 7.815 = χ 0.05 2 ( 3 ) \chi^2=1.33<7.815=\chi_{0.05}^2(3) χ 2 = 1.33 < 7.815 = χ 0.05 2 ( 3 ) ,不能拒绝原假设,所以认为混凝土制件的抗压强度的分布是正态分布 N ( 221 , 152 ) N(221,152) N ( 221 , 152 ) 。