7.3 极形式和奇异值分解

下面，论述（不一定是方阵的）复矩阵的两种相关的重要分解，它们与正定性概念有密切关系.

7.3.1 引理设 $A \in M_{m,n}$ ， $m \leqslant n$ ， $\{\operatorname{rank} A = k \leqslant m\}$ 。则存在酉矩阵 $X \in M_m$ 、具有非负对角元 $\lambda_1 \geqslant \lambda_2 \geqslant \dots \geqslant \lambda_k > \lambda_{k-1} = \dots - \lambda_m = 0$ 的对角矩阵 $\Lambda \in M_m$ 、以及具有标准正交行的 $Y \in M_{m,n}$ ，使得 $A = X \Lambda Y$ 。矩阵 $\Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_m)$ 总是唯一确定的，且 $\{\lambda_1^2, \dots, \lambda_m'\}$ 是 $AA^*$ 的诸特征值。矩阵 $X$ 的各列是 $AA^*$ 的特征向量。如果 $AA^*$ 有互不相同的特征值，那么， $X$ 可确定到相差一个右对角因子 $D = \operatorname{diag}(e^{i\theta_1}, \dots, e^{i\theta_n})$ ，其中所有 $\theta_i \in \mathbb{R}$ ；也就是说，如果 $X_1 \Lambda Y_1 = X_2 \Lambda Y_2$ ，则 $X_2 = X_1 D$ 。给定 $X$ 后，如果 $\operatorname{rank} A = m$ ，则矩阵 $Y$ 是唯一确定的。如果 $A$ 是实矩阵，则 $X$ 和 $Y$ 可以取实矩阵。

证明：如果 $A = X \wedge Y$ 是所要求的分解形式，则 $AA^{*} = X \wedge YY^{*} \wedge X^{*} = X \wedge I \wedge X^{*} = X \wedge^{2} X^{*}$ ，因而 $X \wedge^{2} X^{*}$ 是Hermite矩阵 $AA^{*}$ 的酉对角化。若 $X = [x_{1}, x_{2}, \cdots, x_{m}]$ 且 $\Lambda^{2} = \operatorname{diag}(\lambda_{1}^{2}, \cdots, \lambda_{m}^{2})$ ，则 $AA^{*}x_{i} = \lambda_{j}^{2}x_{j}$ ， $j = 1, 2, \cdots, m$ ，且向量组 $\{x_{j}\}$ 是标准正交组。因为 $\Lambda$ 的诸对角元是非负的，且按递减顺序排列，所以 $\Lambda$ 由 $AA^{*}$ 唯一确定。如果数组 $\{\lambda_{i}^{2}\}$ 是互不相同的，那么，除了相差一个模为 1 的复纯量因子以外， $AA^{*}$ 的各个相应的正规化特征向量都是确定的，因此，如果 $X_{1}$ 和 $X_{2}$ 是其各列为 $AA^{*}$ 的特征向量的两个酉矩阵，则一定有 $X_{2} = X_{1}D$ ，其中， $D^{*}$ diag $(d_{1}, \cdots, d_{n})$ ，且所有 $|d_{i}| = 1$ 。

$AA^{\prime}$ 的相应于重特征值的特征向量不是唯一确定的，但是，它们一经选定，且把它们标准正交化，两矩阵 $X$ 就固定下来，如果 $\pmb{\Lambda}$ 是非奇异矩阵，也就是当 $k = \mathrm{rank}A = m$ 的时候，则Y

$= \Lambda^{1}X^{*}A$ 是唯一确定的．我们不难验证， $YY^{*} = \Lambda^{1}X^{*}(\Lambda A^{*}X)\Lambda^{-1} = \Lambda^{1}X^{*}XA^{2}\Lambda^{-1} = [4]$ $\lambda^{\mathrm{~\Lambda~}}\Lambda^{\mathrm{~\Lambda~}}\Lambda^{-\mathrm{~\Lambda~}} = I$ ，因此，这个矩阵 $Y$ 有标准正交行.

余下只要讨论 $\operatorname{rank} A = k < m$ 的情形。因为当所有 $\lambda_{i} \neq 0$ 时，我们希望有 $Y = A^{-1} X \cdot A = A^{-1}(A^{*} X)^{*}$ ，这促使我们定义 $Y$ 的第 $j$ 行是行向量 $y_{j}^{*}$ 。其中 $y_{j} = \lambda_{j}^{n-1}(A^{*} x_{j})$ ， $j = 1, \cdots, k$ 。于是

\left[ \lambda_ {j} ^ {- 1} \left(A ^ {*} x _ {j}\right) \right] ^ {\prime} \left[ \lambda_ {k} ^ {- 1} \left(A ^ {*} x _ {k}\right) \right] = x _ {j} ^ {\prime} A A ^ {*} x _ {k} / \lambda_ {j} \lambda_ {k} = x _ {j} ^ {\prime} \lambda_ {k} ^ {2} x _ {k} / \lambda_ {j} \lambda_ {k} = x _ {j} ^ {\prime} x _ {k} \lambda_ {k} / \lambda_ {j}

如果 $j \neq k$ ，它就是零，如果 $j = k$ ，它就是 1，这是因为向量组 $\{x_{j}\}$ 是标准正交组。向量组 $\{y_{1}, \dots, y_{k}\}$ 是 $\mathbf{C}^{n}$ 中的标准正交组，且 $n \geqslant m > k$ ，因此另外有 $m - k$ 个（但不是唯一确定的）标准正交向量 $y_{k-1}, \dots, y_{m}$ ，使得矩阵 $Y^{*} \equiv [y_{1}y_{2} \dots y_{k}y_{k-1} \dots y_{m}] \in M_{n,m}$ 有 $m$ 个标准正交列。

现在证明 $X^{*}A - \Lambda Y$ 。根据向量 $y_{j}$ 的定义，这个恒等式两边的前 $k$ 行是相等的。因为 $\Lambda$ 的最后 $m - k$ 个对角元是零，所以右边最后 $m - k$ 行都是零；左边最后 $m - k$ 行也都是零，这是因为，如果 $AA^{*}x_{j} = 0$ ，则 $0 = x_{j}^{*}AA^{*}x_{i} = (A^{*}x_{j})^{*}(A^{*}x_{j}) = 0$ ，因而 $A^{*}x_{j} = 0$ 。

最后，如果 $A$ 是实矩阵，则 $AA^{*}$ 也是实矩阵且有实特征值，因而，特征向量组 $X$ 可以取为实向量组。根据定义，由 $X$ 确定的 $Y$ 的前 $k$ 个行都是实的，添加的 $m - k$ 个正交单位向量可以取实的。因此，如果 $A$ 是实矩阵，它的所有因子都可以取实矩阵。

每个非零复数 $j$ 有唯一的“极表示” $z = pu$ ，其中 $p$ 是正实数，而 $u$ 是模为1的复数．实际上，如果 $z \neq 0$ ，则 $p = |z|$ 且 $u = p\cdot z = z / |z|$ ，如果 $z = 0$ ，则 $z$ 仍然可以写成 $p = 0$ 的极形式，不过 $u$ 不再是唯一确定的．当然， $u$ 可以取模为1的任意复数.

如何把这种极表示推广到复矩阵 $\Lambda \in M_{n}$ 呢？一种回答是 $A = PU$ ，其中， $P$ 是正定（半正定)矩阵，而 $U$ 是酉矩阵．甚至还可以把它推广到 $A$ 不是方阵的情形.

7.3.2定理设 $\Lambda \in M_{m,n}$ ，且 $m \leqslant n$ ，则 $A$ 可以写成

A = P U.

其中， $P\in M_{m}$ 是半正定矩阵， $\operatorname {rank}P = \operatorname {rank}A$ ，而 $U\in M_{m,n}$ 有标准正交行(即 $UU^{*} = I)$ ，矩阵 $P$ 总可以唯一确定为 $P = (AA^{*})^{1 / 2}$ ，而当 $A$ 有秩 $m$ 时， $U$ 是唯一确定的．如果 $A$ 是实矩阵，则 $P$ 和 $U$ 可以取实矩阵.

证明：利用(7.3.1)把 $A$ 写成 $A = X\Lambda Y = X\Lambda X^{\prime}XY$ ，且令 $P = X\Lambda X^{*}$ 和 $U = XY$ ，于是 $P$ 是半正定矩阵，且 $UU^{*} = XYY^{*}X^{*} = XIX^{*} = XX^{*} = I$ ，因而 $U$ 有标准正交行．根据(7.3.1)中的构造法， $P = (AA^{\prime})^{1,2}$ ，一般说来，如果 $A = PU$ ，则 $AA^{*} = PUU^{*}P = P^{2}$ ，所以 $P$ 一定总是 $\Lambda A^{\prime}$ 的(唯一)半正定方根．如果 $A$ 有秩 $m$ ，则 $P$ 非奇异，而且 $U = P^{-1}A$ 是唯一确定的.但是，正如在(7.3.1)中看到的，如果 $\operatorname{rank} A < m$ ，则 $Y$ 的相应于 $P$ 的0特征值的各行不是唯一确定的，因此，当 $\operatorname{rank} A < m$ 时， $U = XY$ 未必是唯一确定的. □

本定理直接推出下述重要的特殊情形

7.3.3 推论如果 $A \in M_{n}$ , 则它可以写成形式

A = P U.

其中， $P$ 是半正定矩阵， $U$ 是酉矩阵．矩阵 $P$ 总可以唯一确定为 $P\equiv (AA^{*})^{1 / 2}$ ：如果 $A$ 是非奇异矩阵，则 $U$ 可以唯一确定为 $U\equiv P^{-1}A$ ，如果 $A$ 是实矩阵，则 $P$ 和 $U$ 可以取实矩阵.

练习说明定理(7.3.2)可以用下述极限证法来证明。如果 $A$ 是非奇异矩阵，则令 $P \equiv (AA^{*})^{1,2}$ ，定义 $U = P^{-1}A$ ，且验证 $UU^{*} = I$ 。因此， $P$ 和 $U$ 都是唯一确定的。如果 $A$ 是奇异矩阵，考虑 $A_{\epsilon} \equiv A + \epsilon I$ ，以及形式 $A_{\epsilon} = P_{\epsilon}U_{\epsilon}$ ，其中两个因子都是唯一确定的。利用选择原理(2.1.8)得到序列 $\varepsilon_{k} \rightarrow 0$ （当 $k \rightarrow \infty$ 时），使得当 $k \rightarrow \infty$ 时， $U_{\epsilon_k}$ 按对应元收敛于酉矩阵 $U$ 。因为 $P_{\epsilon_k} = A_{\epsilon_k}U_{\epsilon_k}^*$ ，我们还有 $P_{\epsilon_k} \rightarrow P$ 和 $A = PU$ 。值得指出的是，从理论上讲，这个证明虽然比前面对(7.3.2)所做的证明更简略，但是当 $A$ 是奇异矩阵时，它并没有给出得到因子 $P$ 和 $U$ 的构造性方法。

分解(7.3.2)称为矩阵 $A$ 的极形式或极分解。当 $A$ 满秩时，两个因子还是唯一的。

练习如果 $A \in M_{m,n}$ ，且 $m \geqslant n$ ，证明它可以写成

A = W Q,

其中， $W \in M_{m,n}$ 有标准正交列（即 $W^{\prime}W = I$ ），而 $Q \in M_{n}$ 是半正定矩阵。提示：利用(7.3.2)分解 $A^{*}$ 。

练习设 $x \in \mathbb{C}^n$ 是给定的非零向量，且 $A \equiv x \in M_{n,1}$ 。证明 $A$ 的极分解是 $A = x = \| x\|_2 u$ ，其中 $u \equiv x / \| x\|_2$ 。故极分解可以看作非零向量的简便分解 $x = \| x\|_2 (x / \| x\|_2)$ 到矩阵的推广。

练习证明，方阵 $A$ 既可写成 $A = PU$ ，也可写成 $A - WQ$ ，其中， $P = (AA^{*})^{1/2}$ ，而 $Q = (A^{*}A)^{1/2}$ 。有时称它们为 $A$ 的“左”和“右”极分解。证明，唯一确定的半正定因子 $P$ 和 $Q$ 相等，当且仅当 $A$ 是正规矩阵。实际上，如果 $A$ 是非奇异矩阵，则唯一确定的酉因子 $U$ 和 $W$ 恒相等[定理(7.3.6)前的练习]。

练习不是每个方阵都是正规的；即 $AA^* = A^*A$ 未必成立。但是 $AA^*$ 总酉相似于 $A^*A$ 。试用极分解(7.3.3)证明这一事实。

7.3.4 定理设 $\Lambda \in M_{n}$ , 又设 $\Lambda - PU$ 是极分解, 则 $A$ 是正规矩阵, 当且仅当 $PU = UP$ .

证明：如果 $P$ 和 $U$ 可交换，则 $AA^{\star} = PUU^{\star}P^{\star} = PP = P^{2}$ ， $A^{*}A = U^{*}P^{*}PU = U^{*}P^{2}U =$ $U^{*}UP^{2} = P^{2}$ ，因而 $\pmb{A}$ 是正规矩阵．如果 $\pmb{A}$ 是正规矩阵，则 $P^2 = U^* P^2 U$ ，我们知道， $P^2$ 和 $U^{*}P^{2}U$ 都是半正定方阵，且显然有相应的半正定平方根 $P$ 和 $U^{*}PU$ 但是定理(7.2.6)说明，这样的平方根是唯一的，因而 $P = U^{*}PU$ 或 $UP = PU.$

我们的下一个目标是，从(7.3.1)得出（不一定是方阵的）任意矩阵的奇异值分解。

7.3.5 定理如果 $A \in M_{m,n}$ 有秩 $k$ ，则它可以写成形式

A = V \Sigma W ^ {\prime},

其中 $V \in M_{m}$ 和 $W \in M_{n}$ 是酉矩阵。矩阵 $\Sigma = [\sigma_{ij}] \in M_{m,n}$ 对所有 $i \neq j$ 有 $\sigma_{ij} = 0$ ，且 $\sigma_{11} \geqslant \sigma_{22} \geqslant \dots \geqslant \sigma_{kk} > \sigma_{k+1,k-1} = \dots = \sigma_{qu} = 0$ ，其中 $q = \min\{m, n\}$ ，数 $\{\sigma_{n}\} \equiv \{\sigma_{i}\}$ 是 $AA^{*}$ 的特征值的非负平方根，因而被唯一确定。 $V$ 的各列是 $AA^{*}$ 的特征向量， $W$ 的各列是 $A^{*}A$ 的特征向量（它们的排列顺序与相应的特征值 $\sigma_{i}^{2}$ 的排列顺序相同）。如果 $m \leqslant n$ ，且 $AA^{*}$ 有互不相同的特征值，则 $V$ 可以确定到相差一个右对角因子 $D = \operatorname{diag}(e^{i\theta_{1}}, \dots, e^{i\theta_{n}})$ ，其中所有 $\theta_{i} \in \mathbb{R}$ ；也就是，如果 $A = V_{1}\Sigma W_{1}^{*} = V_{2}\Sigma W_{2}^{*}$ ，则 $V_{2} = V_{1}D$ 。如果 $m < n$ ，则 $W$ 一定不是唯一确定的；如果 $n = m$ ，且 $V$ 已经给定，那么 $W$ 是唯一确定的。如果 $n \leqslant m$ ，则 $V$ 和 $W$ 的唯一性要根据 $A^{*}$ 来确定。如果 $A$

是实矩阵，则 $V, \Sigma$ 和 $W$ 都可以取实矩阵。

证明：不失一般性，假定 $m \leqslant n$ （否则用 $A^{*}$ 代替 $A$ ）。利用(7.3.1)可把 $A$ 写成 $A = X\Lambda Y$ ，其中， $X, \Lambda \in M_{n}$ ，且 $Y \in M_{m,n}$ 。令 $V \equiv X$ ，取 $\Sigma \equiv [\Lambda;0] \in M_{m,n}$ ，且定义 $W \equiv [Y^{*};S^{*}] \in M_{n}$ 使得 $W$ 的各列是 $\mathbf{C}^{n}$ 中的标准正交组。 $Y^{*}$ 的各列已是标准正交组，所以，如果 $m < n$ ，可选取 $S^{*} \in M_{n,(n - m)}$ 的各列（但不唯一）使 $W$ 为酉矩阵。这直接推出 $V\Sigma W^{*} = X\Lambda Y = A$ 。关于唯一性的论断可以从(7.3.1)中的相应论断得出。□

对 $i = 1, \cdots, q = \min \{m, n\}$ , $\Sigma$ 的“对角元” $\sigma_{i} = \sigma_{n}$ 称为 $A \in M_{m,n}$ 的奇异值 (有时只对非零对角元才这样称呼), 而 $V$ 的列和 $W$ 的列是 $A$ 的 (相应左和右) 奇异向量. 分解 (7.3.5) 称为 $A$ 的奇异值分解. 极矩阵 $P$ 是 $AA^{*}$ 的唯一半正定平方根, 而奇异值 $\sigma_{i}$ 是 $AA^{*}$ 的特征值的非负平方根, 所以 $A$ 的奇异值与极矩阵 $P$ 的特征值相同. 虽然奇异值按递减顺序排列是方便的, 但这并不是奇异值分解中的一般规定; 它只是由 $A$ 唯一确定的一组奇异值.

应该指出，奇异值分解是正规矩阵的酉对角化到任意矩阵的自然推广。由于这个理由，常常有这种情形，关于正规矩阵的特征值的一些结果可以推广成关于一般矩阵的奇异值的一些结论。

练习设 $x \in \mathbb{C}^n$ 是给定的非零向量，且 $A = x \in M_{n,1}$ 。证明， $A$ 的奇异值分解是 $A = x = V\sum W^*$ ，其中， $W = [1] \in M_1$ ， $\Sigma = [\|x\|_2, 0, \dots, 0]^T \in M_{n,1}$ ，而 $V = [v_1, \dots, v_n] \in M_n$ 有 $v_1 = x / \|x\|_2$ ，且 $v_2, \dots, v_n$ 是与 $x$ 正交的任意 $n-1$ 个单位正交向量。

如果 $A \in M_{n}$ , 则奇异值分解中的三个因子 $V, \Sigma$ 和 $W$ 都是 $n \times n$ 矩阵. 如果 $A = PU$ 是 $A$ 的极分解, 又如果 $P = V\Lambda V^{*}$ 是 $P$ 的酉对角化, 其中 $P$ 的 (一定非负) 诸特征值按递减顺序排列, 则 $A = PU = V\Lambda V^{*}U = (V)(\Lambda)(V^{*}U) - V\Lambda W^{*}$ 是 $A$ 的奇异值分解, 其中 $V = V, \Sigma - \Lambda$ , 且 $W = U^{*}V$ . 注意到 $AA^{*} = V\Sigma W^{*}W\Sigma V^{*} = V\Sigma^{2}V^{*}$ , 因而 $V$ 的诸列是 Hermite 矩阵 $AA^{*}$ 的相应于特征值 $\sigma_{1}^{2}, \cdots, \sigma_{n}^{2}$ 的特征向量. 另外, $A^{\prime}A = W\Sigma V^{\prime}V\Sigma W^{\prime} = W\Sigma^{2}W^{\prime}$ , 因而 $W$ 的诸列是 $A^{\prime}A$ 的特征向量.

练习如果 $A \in M_{n}$ 是非奇异矩阵，证明下述步骤给出奇异值分解 $A = V\Sigma W^{*}$ ：

(a) 作出正定 Hermite 矩阵 $AA^{*}$ , 然后通过求 $AA^{*}$ 的各(正)特征值 $\{\lambda_{i}\}$ 以及相应的正规化特征向量组 $u_{i}$ 算出酉对角化 $AA^{*} = U\Lambda U^{*}$ .
(b) 令 $\Sigma = \Lambda^{12}$ 和 $V = U = [u_{1} \cdots u_{n}]$ .
(c) 令 $W \equiv A^{*}V\Sigma^{1}$ .

证明 $W$ 是酉矩阵且 $A = V\Sigma W^{*}$ ，提示：计算 $W^{*}W$

练习设 $A \in M_{n}$ 是给定的（不一定非奇异）矩阵，证明下述步骤给出奇异值分解 $A = V\Sigma W^{*}$ ：

(a) 存在某个 $c = c(A) > 0$ ，使得对所有正 $\varepsilon < c$ ， $A_{\varepsilon} = A + \varepsilon I$ 是非奇异矩阵。设 $0 < \varepsilon < c$ 。
(b) 利用上一个练习中的方法作奇异值分解 $A_{\epsilon} = V_{\epsilon}\Sigma_{\epsilon}W_{\epsilon}^{*}$ .
(c) 利用选择原理(2.1.8)且设 $\varepsilon \to 0$ ，通过值 $\varepsilon_{k}$ 的序列使得

\lim _ {\epsilon_ {k} \to 0} V _ {\epsilon_ {k}} = V \quad \text {和} \quad \lim _ {\epsilon_ {k} \to 0} W _ {\epsilon_ {k}} = W

都存在.

(d) 证明 $\Lambda = V\Sigma W^{\cdot}$ , 其中 $\Sigma - \lim_{\epsilon \to 0} \Sigma_{\epsilon}$ .

这个可以用来证明一般的奇异值分解(7.3.5)的证法保证存在一个奇异值分解，但是，当 $A$ 不是满秩的时候，它一般没有给出计算奇异值分解中的各个因子的构造性方法。

练习假定 $A \in M_{n}$ 是非奇异矩阵，且 $A = PU$ ， $A - WQ$ 是 $A$ 的左和右极分解，其中 $P$ ， $Q \in M_{n}$ 是正定矩阵， $U$ ， $W \in M_{n}$ 是酉矩阵。证明恒有 $U = W$ ，但是， $P = Q$ 当且仅当 $A$ 是正规矩阵。如果 $A$ 是奇异矩阵，证明存在 $A$ 的左和右的极分解使 $U \neq W$ 。提示：如果 $A = V\Sigma W^{*}$ 是 $A$ 的奇异值分解，则 $V$ 或 $W$ 都不是唯一确定的，但是， $A = (VW^{*})(W\Sigma W^{*}) = (V\Sigma V^{*})(VW^{*})$ ；采用(7.3.3)的唯一性部分。考察 $A = 0$ ，说明，如果 $A$ 是奇异矩阵，则 $A$ 的两个极分解中的酉因子不一定相同。

如果 $A \in M_{n}$ 是正规矩阵，且 $A = V\Sigma W^{*}$ 是奇异值分解，则 $AA^{*} = A^{*}A$ ，因而 $AA^{*}$ 和 $A^{*}A$ 有相同的特征向量．但是，由此不能推出，在 $A$ 的奇异值分解中有 $V = W$ ，因为 $V = W$ 时， $A = V\Sigma V^{*}$ 就一定是（甚至是半正定）Icrmite 矩阵．如果 $A = U\Lambda U^{*}$ 是 $A$ 的酉对角化，且 $\Lambda - \mathrm{diag}(\lambda_1, \dots, \lambda_n)$ ，则每个 $\lambda_i = |\lambda_k| e^{\theta_k}$ 对某个 $\theta_k \in \mathbb{R}$ 成立；如果 $\lambda_k = 0$ ，选 $\theta_k \equiv 0$ ，如果令 $D \equiv \mathrm{diag}(e^{i\theta_1}, \dots, e^{i\theta_n})$ 和 $|\Lambda| \equiv \mathrm{diag}(|\lambda_1|, \dots, |\lambda_n|)$ ，则 $\Lambda - |\Lambda| D$ ，且 $A - U\Lambda U^{*} = U |A| D U^{*} = (U)(|\Lambda|)(U\overline{D})^{*} \equiv V\Sigma W^{*}$ 是 $A$ 的奇异值分解，其中， $V = U$ ， $\Sigma = |\Lambda|$ ，且 $W = U\overline{D}$

因此，正规矩阵的奇异值正好是其特征值的绝对值， $V$ 的各列是 $A$ 的特征向量， $W$ 的各列视为与 $V$ 的各列相同，只是每一列都乘以一个由相应的特征值确定的绝对值为 1 的复纯量。如果 $A$ 是 Hermite 矩阵，则所有特征值都是实的， $D = \overline{D}$ 且 $D = \operatorname{diag}(\operatorname{sgn}(\lambda_1), \dots, \operatorname{sgn}(\lambda_n))$ 。其中令 $\operatorname{sgn}(0) = 1$ 。如果 $A$ 是正定 Hermite 矩阵，则 $D = I$ ， $V = W = U$ ，且 $\Lambda = \Sigma$ 。

Schur三角化定理(2.3.1)的一个有效应用是，证明了每个复方阵是具有互异特征值的矩阵的极限。奇异值分解可以用来证明每个复矩阵（方阵或非方阵）是具有互异奇异值的矩阵的极限。这可能是有用的，因为在奇异值互不相同的情形，奇异值分解具有不完全的唯一性。

7.3.6 推论如果 $A \in M_{m,n}$ 是给定的矩阵，又 $\|\cdot\|$ 是 $M_{m,n}$ 上的给定的范数，则对每个 $\varepsilon > 0$ ，存在具有互异奇异值的 $A_{\varepsilon} \in M_{m,n}$ 使得 $\|\Lambda - A_{\varepsilon}\| < \varepsilon$ 。

证明：假定 $m \leqslant n$ 。设 $A = V\Sigma W^{*}$ 是 $A$ 的奇异值分解，又设

\Sigma_ {\delta} \equiv [ \operatorname {d i a g} (\sigma_ {1} + \delta , \sigma_ {2} + 2 \delta , \dots , \sigma_ {m} + m \delta) ]

其中 $0 \in M_{m,n}$ 。如果 $A$ 的所有奇异值都相等，则对所有 $\delta > 0$ ， $\Sigma_{\delta}$ 将有互不相同的对角元。不然的话，如果选取 $\delta > 0$ 使得 $m\delta$ 小于各个不同奇异值间的最小的差，则 $\Sigma_{\delta}$ 就有互不相同的对角元。在这两种情形，当 $\delta \to 0$ 时， $\Sigma_{\delta} \to \Sigma$ 。如果令 $A_{\delta} \equiv V\Sigma_{\delta}W^{*}$ ，因为 Frobenius 范数是两不变的，所以当 $\delta \to 0$ 时， $\| A - A_{\delta} \|_{2} = \| \Sigma - \Sigma_{\delta} \|_{2} \to 0$ 。但是， $M_{m,n}$ 上的所有范数都是等价的，因此完成了证明。如果 $m > n$ ，证明是类似的。□

有一个简单的变换使我们能把Hermite矩阵的关于特征值的结果转变成任意矩阵的关于奇异值的结果.

7.3.7 定理设 $A \in M_{m,n}$ , $q = \min \{m, n\}$ , 并且定义 $\widetilde{A} \in M_{m + n}$ 为

\widetilde {A} \equiv \left[ \begin{array}{l l} 0 & A \\ A ^ {*} & 0 \end{array} \right]. \tag {7.3.7a}

设 $\sigma_{1}, \sigma_{2}, \cdots, \sigma_{q}$ 是非负实数. 则 $A$ 的奇异值是 $\sigma_{1}, \sigma_{2}, \cdots, \sigma_{q}$ , 当且仅当 $\widetilde{A}$ 的 $m + n$ 个特征值是 $\sigma_{1}, \sigma_{2}, \cdots, \sigma_{q}, -\sigma_{1}, -\sigma_{2}, \cdots, -\sigma_{q}$ 和 $|m - n|$ 个 0.

证明：假定 $m \geqslant n$ ，且设 $A = V\Sigma W^{*}$ 是 $A$ 的奇异值分解。记

\Sigma = \left[ \begin{array}{l} S \\ 0 \end{array} \right] \in M _ {m, n}, \quad 0 \in M _ {m, n},

其中 $S = \mathrm{diag}(\sigma_1, \sigma_2, \dots, \sigma_n)$ ，并且把酉因子 $V \in M_m$ 写成 $V = [V_1, V_2]$ ，其中 $V_1 \in M_{m,n}$ ， $V_2 \in M_{m,(m,n)}$ 。如果令 $\hat{V} \equiv \hat{V}_1 / \sqrt{2}$ 和 $\hat{W} \equiv W / \sqrt{2}$ ，则矩阵

U \equiv \left[ \begin{array}{c c c} \hat {V} & - \hat {V} & V _ {2} \\ \hat {W} & \hat {W} & 0 \end{array} \right] \in M _ {m - n}, \quad 0 \in M _ {n, m - n}

是西矩阵，几经直接计算可以验证

\tilde {A} = U \left| \begin{array}{l l l} S & 0 & 0 \\ 0 & - S & 0 \\ 0 & 0 & 0 _ {-} \end{array} \right| U ^ {*},

其中对角零块是 $(m - n) \times (m - n)$ 矩阵。如果 $m < n$ ，证明是类似的。

练习设 $A \in M_{m,n}$ 是给定的矩阵。证明 $A^{\star}, A^{\tau}$ 和 $\Lambda$ 的奇异值与 $A$ 的相同。如果 $U \in M_{m}$ 和 $V \in M_{n}$ 是酉矩阵，证明 $UAV$ 的奇异值与 $A$ 的相同。如果 $c \in \mathbb{C}$ ，证明 $CA$ 的奇异值是 $A$ 的奇异值的 $|c|$ 倍。

作为定理(7.3.7)的一个直接应用，我们有关任意矩阵的奇异值的一些扰动结果，这些结果是从Hermite矩阵的相应结果得来的。它们说明每个矩阵关于奇异值的计算是优态的，可以把它们同(6.3.2)、(6.3.4)以及其中关于条件数的讨论作一比较。关于如何把这些结果推广到任意两不变范数，可参看(7.4.51)。

7.3.8 推论设 $\Lambda, B \in M_{m,n}, E \equiv B - \Lambda$ ，且设 $q = \min\{m, n\}$ ，如果 $\sigma_1 \geqslant \sigma_2 \geqslant \dots \geqslant \sigma_q$ 是 $A$ 的奇异值，且 $\tau_1 \geqslant \tau_2 \geqslant \dots \geqslant \tau_q$ 是 $B$ 的奇异值则

(a) $|\sigma_{i} - \tau_{i}| \leqslant \|E\|_{2}$ 对所有 $i = 1, 2, \cdots, q$ 成立；
(b) $\left[\sum_{i=1}^{q}\left(\sigma_{i}-\tau_{i}\right)^{2}\right]^{1.2} \leqslant\|E\|_{2}$ .

证明：这两个结果类似于Weyl不等式[(4.3.1)；也可参看(6.3.5)前面的练习]以及关于Hermite矩阵的Hoffmann-Wielandt定理(6.3.8).它们可从所述结果及(7.3.7)直接得出. □

练习给出(7.3.8)的详细证明。关于(a)见(5.6)节习题36。

奇异值也有交错性质；它是由Hermite矩阵的特征值交错性质得来的。

7.3.9 定理设 $A \in M_{m,n}$ 是给定的矩阵，又设 $\dot{A}$ 是划去 $A$ 的任意一列后得到的矩阵。设 $\{\sigma_i\}$ 表示 $A$ 的奇异值， $\{\hat{\sigma}_i\}$ 表示 $\hat{A}$ 的奇异值，且都按递减顺序排列。

（a）如果 $m \geq n$ ，则

\sigma_ {1} \geqslant \hat {\sigma} _ {1} \geqslant \sigma_ {n} \geqslant \hat {\sigma} _ {2} \geqslant \dots \geqslant \hat {\sigma} _ {n - 1} \geqslant \sigma_ {n} \geqslant 0.

（b）如果 $m < n$ ，则

\sigma_ {1} \geqslant \hat {\sigma} _ {1} \geqslant \sigma_ {2} \geqslant \hat {\sigma} _ {2} \geqslant \dots \geqslant \sigma_ {m} \geqslant \hat {\sigma} _ {m} \geqslant 0.

418

如果划去 $A$ 的--行，而不是--列，则相应的不等式可通过交换(a)和(b)中的 $m$ 和 $n$ 来得到.

证明： $A$ 的奇异值的平方是Hermite矩阵 $A^{*}A\in M_{n}$ 的特征值，而 $\dot{A}$ 的奇异值的平方是 $\hat{A}\cdot \hat{A}\in M_{n - 1}$ 的特征值；如果划去 $A$ 的一列， $\hat{A}^{\star}\hat{A}$ 是 $A^{*}A$ 的主子矩阵．交错不等式组可从包含原理(1.3.15)直接得出．如果划去 $A$ 的一行而不是-列，则相应地考虑 $AA^{*}$ 和 $\hat{A}\hat{A}^{*}$ □

作为Hermite矩阵的特征值性质与奇异值性质间的最后一个类似，有与Courant-Fischer定理(4.2.11)类似的定理。

7.3.10 定理设 $A \in M_{m,n}$ , $q = \min \{m, n\}$ , 设 $\sigma_1 \geqslant \sigma_2 \geqslant \dots \geqslant \sigma_q$ 是 $A$ 的有序奇异值, 又设 $k$ 是适合 $1 \leqslant k \leqslant q$ 的某个整数. 则

\min _ {\alpha_ {1}, \dots , \alpha_ {k - 2} \in \mathbf {r} ^ {n}} \max _ {\substack {x = x _ {1}, x _ {2}, \dots , x _ {k - 1}}} \frac {\| A x \| _ {2}}{\| x \| _ {2}} = \sigma_ {k},

\max _ {w _ {1}, \dots , w _ {n, k} \in \mathbf {C} ^ {n}} \min _ {\substack {x = i, x \in \mathbf {C} ^ {n} \\ x: u _ {i}, \dots , u _ {n, k}}} \frac {\| A x \| _ {2}}{\| x \| _ {2}} = \sigma_ {k}.

证明：这两个公式可直接从(4.2.12)和(4.2.13)推出，因为 $\sigma_k^2 (A)$ 是 $A^{\star}A$ 的特征值．如果 $\lambda_1\leqslant \lambda_2\leqslant \dots \lambda_k$ 是Hermite矩阵 $A^{*}A$ 的有序特征值，则 $\sigma_k^2 (A) = \lambda_{n - k + 1}(A^* A)$ ，而(4.2.12)说明

\begin{array}{l} \sigma_ {k} ^ {\prime} (A) = \lambda_ {n - k + 1} (A ^ {*} A) = \min _ {w _ {1}, \dots , w _ {k - 1} \in \mathbf {C} ^ {n}} \max _ {\substack {x \neq 0, x \in \mathbf {C} ^ {n} \\ i - w _ {1}, \dots , w _ {k - 1}}} \frac {x ^ {*} A ^ {*} A x}{x ^ {*} x} \\ = \min _ {w _ {1}, \dots , w _ {k - 1} \in \mathbf {C} ^ {n}} \max _ {\substack {x \neq 0, j \in \mathbf {C} ^ {n} \\ i \perp w _ {1}, \dots , w _ {k - 1}}} \left(\frac {\| A x \| _ {2}}{\| x \| _ {2}}\right) ^ {2}. \\ \end{array}

用同样的方法可以证明第二个恒等式.

习题

设 $P \in M_{n}$ 是半正定矩阵，证明 $P$ 可以写成 $P^{2}$ 的多项式，因此，如果某个矩阵 $U$ 与 $P^{2}$ 可交换，则它一定也与 $P$ 可交换。用这个事实证明，如果 $A \in M_{n}$ 是正规矩阵，则它的极因子 $P$ 和 $U$ 可交换。
证明，任意 $A \in M_{n}$ 可写成 $\Lambda = P e^{iH}$ ，其中 $P, H \in M_{n}, P$ 是半正定矩阵，而 $H$ 是Hermite矩阵。证明 $H$ 可以取为正定矩阵。 $P$ 和 $H$ 可由 $A$ 确定到什么程度？提示：如果 $U \in M_{n}$ 是酉矩阵，且 $U - V A V^{*}$ 是 $U$ 的酉对角化，则 $\Lambda = e^{iD}$ ，其中 $D$ 是具有实主对角元的对角矩阵。 $e^{iM_{n}}$ 是什么？
证明， $\Lambda \in M_{n}$ 有零奇异值，当且仅当它有零特征值
设 $A \in M_{m,n}$ 且 $q = \min \{m, n\}$ . 证明 $A$ 的最大奇异值等于 $A$ 的谱范数. 证明 $A$ 的 Frobenius 范数适合恒等式

\| A \| _ {2} = - \left(\sum_ {i} ^ {q} \sigma_ {i} ^ {2}\right) ^ {\prime}

证明 $\sigma_{1} \leqslant \|A\|_{2} \leqslant \sqrt{n}\sigma_{1}$ ，并且确定使等式成立的条件。证明对所有 $A \in M_{n}$ 有

\left\| A \right\| _ {2} \leqslant \left\| A \right\| _ {2} \leqslant \sqrt {n} \cdot \left\| A \right\| _ {2}. \tag {7.3.11}

考虑 $I$ 和 $\left[ \begin{array}{ll}1 & 0\\ 0 & 0 \end{array} \right]$ ，说明 $\| A\| _2$ 可以达到这两个界.

如果 $k \leqslant \min \{m, n\}$ ，且在 $A$ 的奇异值分解(7.3.5)中， $v_k$ 是 $V$ 的第 $k$ 列， $w_k$ 是 $W$ 的第 $k$ 列，证明

A \cdot v _ {k} = \sigma_ {k} w _ {k} \quad \text {和} \quad A w _ {k} = \sigma_ {k} v _ {k}.

其中 $\sigma_{k}$ 是 $A$ 的第 $k$ 个奇异值。特别是， $v_{k}^{*} A u_{k} = \sigma_{k}$ 。

如果给出一个大矩阵 $A$ ，如何用数值方法去计算 $A$ 的秩呢？注意到 $A$ 的秩等于 $A$ 的非零奇异值的个数，于是，一种从数值上计算 $A$ 的秩的方法是：求奇异值分解，然后取 $A$ 的秩为大于某个限定值的奇异值的个数。如果 $A$ 的最小非零奇异值与最大非零奇异值之比不接近于 0，你为什么可以指望用数值方法确定 $A$ 的秩会更容易和更精确？
设 $A \in M_{m,n}$ 有奇异值分解 $A = V\Sigma W^{*}$ ，且定义 $\Lambda^{*} = W\Sigma^{\dagger}V^{*}$ ，其中， $\Sigma^{*}$ 是 $\Sigma$ 的转置，且 $\Sigma$ 中 $\Lambda$ 的各正奇异值用它们的倒数来代替。证明，

(a) $AA^{\dagger}$ 和 $A^{\dagger}A$ 是Hermite矩阵；
(b) $AA^{\dagger}A = A$
(c) $A^{\prime}AA^{\dagger} = A^{\prime}$

证明，如果 $\pmb{\Lambda}$ 是非奇异方阵，则 $A^{\dagger} = A^{-1}$ ，矩阵 $A^{\dagger}$ 称为 $\pmb{A}$ 的Moore-Penrose广义逆．对于任意矩阵 $\pmb{A}$ ，甚至于奇异方阵 $\pmb{A}$ 和非方阵 $\pmb{A}$ ，它们都有广义逆．再证明，按上述要求(a)～(c)， $\pmb{\Lambda}^{\dagger}$ 是唯一确定的.

线性方程组 $Ax = b$ 的最小二乘解是在使 $\| Ax - b\|_2$ 为极小的所有向量 $x$ 当中， $\| x\|_2$ 达到极小值的向量 $x$ 。证明 $x = A^{\dagger}b$ 是 $Ax = b$ 的最小二乘解。
证明 $A^{\dagger} = \lim_{t\to 0}A^{*}(AA^{*} + tI)^{-1}$ ，其中 $A^*$ 是习题7中所定义的矩阵。
不直接利用特征向量和特征值也可以导出奇异值分解（7.3.5）。回顾一下利用Rayleigh-Ritz原理对角化一个Hermite矩阵的证明，从谱范数的变分特征可以直接构造出（左和右）奇异向量和奇异值。考虑 $A \in M_n$ 及变分特征 $(\ast \ast) \mid A \|_2 = \max \{\| \Lambda u \|_2 : \| x \|_2 = 1\}$ (a) 设 $n \geqslant 2$ ，又设 $B \in M_n$ 有特殊形式

B = \left[ \begin{array}{c c} \sigma_ {1} & w ^ {\prime} \\ 0 & X \end{array} \right]

其中 $\sigma_{1} = \| B\|_{2}, w \in \mathbb{C}^{n-1}$ 而 $X \in M_{n-1}$ . 证明 $w = 0$ . 提示: 如果 $\sigma_{1} > 0$ , 考虑 $\zeta = \left[ \begin{array}{c} \sigma_{1} \\ w \end{array} \right] / (\sigma_{1}^{2} + w^{*}w)^{1/2}$ , 证明 $\| B\zeta \|_{2}^{2} \geqslant \sigma_{1}^{2} + w'w$ , 然后利用 $(\ast \ast)$ . (b) 设 $A \in M_{n}$ 且 $\sigma_{1} = |A|_{2}$ . 然后利用 $(\ast \ast)$ 证明, 存在某个单位向量 $x_{1}$ 使得 $\| Ax_{1} \|_{2} = \sigma_{1}$ . 设 $y_{1} = \sigma_{1}^{-1}Ax_{1}$ . (c) 设 $W_{1}$ , $V_{1} \in M_{n}$ 是两矩阵, 它们的第 1 列分别是 $x_{1}$ 和 $y_{1}$ . 证明 $V_{1}^{*}AW_{1}$ 有谱范数 $\sigma_{1}$ 且有 (a) 中的矩阵形式. 由此得出 $V_{1}^{*}AW_{1} = \left[ \begin{array}{cc}\sigma_{1} & 0\\ 0 & X \end{array} \right]$ . (d) 通过引入非对角零元组成的列和行压缩 $A$ , 用公式表示这个归纳过程, 左乘和右乘相应的酉矩阵便可得到 $A$ 的奇异值分解. (e) 如果 $A \in M_{m,m}$ 不是方阵, 情况又如何?

设 $A = V\Sigma W^{\prime}$ 是矩阵 $A \in M_{m,n}$ 的奇异值分解，假定 $A$ 有秩 $k$ ，且设 $q = \min \{m, n\}$ ，证明 $W$ 的最后 $n - k$ 列构成 $A$ 的零空间的标准正交基，而 $V$ 的前 $k$ 列构成 $A$ 的值域的标准正

交基.

设 $A \in M_{m,n}$ , $B \in M_{p,n}$ . 证明 $A$ 和 $B$ 的零空间的交的标准正交基由 $W$ 的后若下列（有多少？）给出，其中 $V \Sigma W'$ 是分块矩阵 $\left[ \begin{array}{c} A \\ B \end{array} \right] \in M_{m,p,n}$ 的奇异值分解。提示：对 $x \in \mathbf{C}^n$ ，什么时候 $\left[ \begin{array}{c} A \\ B \end{array} \right] x = 0$ ？你如何求列数相同的 $k$ 个矩阵 $A_1, A_2, \dots, A_k$ 的各个零空间的交的标准正交基。
证明极分解(7.3.2)与奇异值分解在容易相互导出的意义下是等价的。提示：把谱定理应用于 $P$ 。
设 $A \in M_{n}$ . 证明, $A$ 可对角化, 当且仅当存在正定 Hermite 矩阵 $P$ 使得 $P^{-1}AP$ 是正规矩阵. 提示: 如果 $A = S\Lambda S^{-1}$ , 应用极分解(7.3.3)于 $S$ .
试用奇异值分解(7.3.5)(特别是关于分解的唯一性的论述)以及推论(7.3.6)证明，Takagi表示(4.4.4)对复对称矩阵成立。提示：若 $A = A^{\mathrm{T}} \in M_{n}$ 有各不相同的奇异值且 $A = V\Sigma W^{*}$ ，则 $A = A^{\mathrm{T}} = \bar{W}\Sigma V^{\prime}$ 。另一方面，存在一个对角两矩阵 $D = \operatorname{diag}(e^{i\theta_{1}}, \dots, e^{i\theta_{n}})$ 使得 $\bar{W} = V D$ ，故 $A = V\Sigma W^{*} = V\Sigma (\bar{V} D)^{*} = V\Sigma D V^{T} = (V D^{12})\Sigma (V D^{12})^{T} \equiv U\Sigma U^{T}$ 。对于一般情形，把(7.3.6)和选择原理(2.1.8)用于扰动，然后取极限。
设 $A, B \in M_{m,n}, q = \min\{m, n\}$ ，设 $A$ 的有序奇异值是 $\sigma_1(A) \geqslant \dots \geqslant \sigma_q(A) \geqslant 0$ 。类似地，设 $B$ 和 $A + B$ 也有有序奇异值。设 $\widetilde{A}$ 、 $\widetilde{B}$ 、 $\widetilde{A} + \widetilde{B} \in M_{m,n}$ 是如(7.3.7a)中定义的Hermite矩阵。证明，对 $k = 1, 2, \dots, q$ 有 $\sigma_k(A) = \lambda_{m-n-k-1}(\widetilde{A})$ ；且对 $B$ 和 $(A + B)$ 也有类似的结果。注意：诸奇异值是按递减顺序排列的，而Hermite矩阵 $A$ 的诸特征值是按递增顺序排列的。试用这个等式和Weyl定理(4.3.7)证明

\sigma_ {i + j} (A + B) \leqslant \sigma_ {i} (A) + \sigma_ {j} (B), \quad 1 \leqslant i, j \leqslant q \quad \text {和} \quad i + j \leqslant q + 1.

特别地， $\sigma_1(A + B) \leqslant \sigma_1(A) + \sigma_1(B)$ ，（为什么这是意料之中的？）且 $\sigma_q(A + B) \leqslant \min \{\sigma_q(A) + \sigma_1(B), \sigma_1(A) + \sigma_q(B)\}$ .

考察 $A = \begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix}$ 和 $B = \begin{bmatrix} 0 & 0 \\ 0 & 1 \end{bmatrix}$ ，证明不等式 $\sigma_{i}(A + B) \leqslant \sigma_{i}(A) + \sigma_{i}(B)$ 不是对所有 $i = 1, 2$ 都成立，其中 $\{\sigma_{i}(A)\}$ 和 $\{\sigma_{i}(B)\}$ 分别是 $A$ 和 $B$ 的奇异值，且都按递降顺序排列。
设 $A, B \in M_{m,n}$ 是给定的， $q = \min\{m, n\}$ ，设 $A$ 的有序奇异值是 $\sigma_1(A) \geqslant \dots \geqslant \sigma_q(A) \geqslant 0$ ，且 $B$ 和 $AB^* \in M_m$ 的奇异值也有类似的递减顺序。证明

\sigma_ {i, j} (A B ^ {*}) \leqslant \sigma_ {i} (A) \sigma_ {j} (B), \quad 1 \leqslant i, j \leqslant q, \quad i + j \leqslant q + 1.

这些不等式可以看作类似于习题16中的加法不等式的乘法不等式，当 $m = n$ 时，它们也可以看作谱范数的次乘性质的推广。为什么？提示：设 $AB^{*} = WQ$ 是 $AB^{*}$ 的左极分解，其中， $W \in M_{m}$ 是酉矩阵， $Q \in M_{m}$ 是半正定矩阵。对任一个 $x \in \mathbf{C}^{m}$ ，有 $(x^{*}Qx)^{2} = (x^{*}W^{*}AB^{*}x)^{2} = [(A^{*}Wx)^{*}(B^{*}x)]^{2} \leqslant \| A^{*}Wx\|_{2}^{2}\| B^{*}x\|_{2}^{2} - [(Wx)^{*}AA^{*}(Wx)](x^{*}BB^{*}x)$ 。设 $z_{1}, \cdots, z_{i}$ 是 $AA^{*}$ 的标准正交特征向量，它们对应于 $AA^{*}$ 的 $i-1$ 个最大特征值 $\sigma_{1}^{2}(A), \cdots, \sigma_{i-1}^{2}(A)$ ，设 $y_{1}, \cdots, y_{j-1}$ 是 $BB^{*}$ 的标准正交特征向量，它们对应于 $BB^{*}$ 的 $j-1$ 个最大特征值 $\sigma_{1}^{2}(B), \cdots, \sigma_{j-1}^{2}(B)$ ，又设 $x_{1} = W^{*}z_{1}, x_{2} = W^{*}z_{2}, \cdots, x_{i-1} = W^{*}z_{i-1}, x_{i} = y_{1}, x_{i+1} = y_{2}, \cdots, x_{i-j-2} =$

$y_{j}$ 。若对 $k = 1,2,\dots ,i + j - 2$ ， $\pmb{x}$ 都正交于 $x_{k}$ ，则 $(Wx)^{*}AA^{*}(Wx)\leqslant \sigma_{i}^{2}(A)\| x\|_{2}^{2}$ 和 $x^{*}BB^{*}$ $x\leqslant \sigma_j^2 (B)\parallel x\parallel_2^2$ ，因此，在这些限制下，我们有 $(x^{*}Qx)^{2}\leqslant \sigma_{i}^{2}(A)\sigma_{j}^{2}(B)\parallel x\parallel_{2}^{2}$ ，于是引用Courant-Fischer定理(4.2.11)便得出

\sigma_ {1 j} ^ {2} (A B ^ {*}) = \left(\lambda_ {n 1 j, 2} \left([ A B ^ {*} ] ^ {*} (A B ^ {*}) \right] ^ {1 2}\right) ^ {2} \leqslant \sigma_ {i} ^ {2} (A) \sigma_ {j} ^ {2} (B).

虽然当 $A, B \in M_{n}$ 时， $AB$ 和 $BA$ 的特征值总是相同的，不过例子 $\left[ \begin{array}{cc}0 & 1 \\ 0 & 0\end{array} \right]$ 和 $\left[ \begin{array}{cc}0 & 0 \\ 0 & 1\end{array} \right]$ 却说明， $AB$ 和 $BA$ 的奇异值不一定相同。但是可以证明 $AB$ 和 $B^{\dagger} A^{\dagger}$ 的奇异值总是相同的。
设 $X$ 是 $n$ 维随机向量，它的诸分量有零平均值和有限方差。设 $\Sigma \equiv \operatorname{Cov}(X) = E(XX^*)$ [见(4.5.3)]，假定 $\Sigma$ 是非奇异的，设 $P = \Sigma^{1/2}$ ，且 $A, B \in M_n$ 是给定的，随机向量 $AX$ 和 $BX$ 有相同的（零）平均值向量，但没有理由指望它们有相同的协方差矩阵。证明， $\operatorname{Cov}(AX) = \operatorname{Cov}(BX)$ 当且仅当 $A = B(PUP^{-1})$ 对某个酉矩阵 $U \in M_n$ 成立。提示：若 $A\Sigma A^* = B\Sigma B^*$ ，则 $(AP)(AP)^* = (BP)(BP)^*$ 。如果 $RW$ 是 $BP$ 的一个极分解，证明，对某个酉矩阵 $W, V \in M_n, RV$ 是 $AP$ 的一个极分解。 $R$ 是什么？由此得出 $A = B(PW^* VP^{-1}) = B(PUP^{-1}).U$ 可以确定到什么程度？若 $\Sigma = I$ 又如何？若 $B - I$ 又如何？
考虑由

A _ {\varepsilon} = \left[ \begin{array}{c c c c} 0 & 1 & & 0 \\ \vdots & \ddots & \ddots & \\ 0 & & \ddots & 1 \\ \varepsilon & 0 & \dots & 0 \end{array} \right], \quad \varepsilon > 0

给出的矩阵 $A_{\varepsilon} \in M_{n}$ 。证明 $A_{\varepsilon}$ 的特征多项式是 $t^{n} - \varepsilon$ 。提示：用沿其第1列的Laplace代数余子式展开计算 $\operatorname{det}(tI - A\varepsilon)$ 。证明 $A_{\varepsilon}$ 的各特征值是 $\sqrt[n]{\varepsilon}$ 的 $n$ 个选择。证明 $A_{\varepsilon}$ 的各奇异值是 $1(n - 1$ 重)和 $\varepsilon$ 。现在设 $n = 10$ ， $\varepsilon = 10^{-10}$ ，注意到扰动 $A_{\mathrm{u}} \rightarrow A_{\mathrm{u}}$ 引起 $A_{\mathrm{u}}$ 的各特征值一个0.1扰动，但只引起 $A_{\mathrm{u}}$ 的任一奇异值一个 $10^{-10}$ 的扰动。 $A_{\mathrm{c}}$ 的谱条件数是什么？这是关于定理(7.3.7)下面的论断的一个例子，该论断是说，每个矩阵关于奇异值的计算是良态的，而一个给定矩阵关于特征值的计算可能是病态的。

设 $A = [a_{ij}] \in M_n$ 是给定的。证明，若 $A$ 有“小”行或列，则 $A$ 一定有“小”奇异值。说得更明确些，设 $A = [r_1 r_2 \cdots r_n]^T$ ，其中 $r_i \in \mathbb{C}^n$ ，且 $r_i^T$ 是 $A$ 的第 $i$ 行。用递增顺序排列各行的 Euclid 范数 $\{\|r_i\|_2: i = 1, \cdots, n\}$ ，并且用 $R_1 \leqslant R_2 \leqslant \cdots \leqslant R_n$ 表示所得到的有序值。证明

\sum_ {i = 1} ^ {k} \sigma_ {m + 1} ^ {2} \leqslant \sum_ {i = 1} ^ {k} R _ {i} ^ {2}, \quad k - 1, 2, \dots , n;

一个类似的上界可用列范数表示。注意诸奇异值是取顺序 $\sigma_{n} \leqslant \sigma_{n-1} \leqslant \cdots \leqslant \sigma_{1}$ 。提示：平方奇异值是Hermite矩阵 $AA'$ 的特征值。 $AA'$ 的各主对角元是什么？用优化和定理(4.3.26)。关于列和不等式考虑 $A^*A$ ，与(4.3)节习题19比较。

有一个与奇异值分解类似的自然分解，其中的酉因子用复正交因子来代替。但是，与奇异值分解不同的是，这个分解不是总能实现的：从(2.3)节习题7可以想到，类似子Schur西上三角分解的正交分解也不是总能实现的。如果 $A \in M_{m,n}$ 可以写成 $\Lambda = P\Lambda Q^T$ 的形式，其中

424

$P \in M_{m}$ 和 $Q \in M_{n}$ 是复正交矩阵，而 $\Lambda = [\lambda_{ij}] \in M_{m,n}$ 是在 $i \neq j$ 时有 $\lambda_{ij} = 0$ 的意义下的“对角”矩阵，证明 $AA^T \in M_{m}$ 是可对角化的且 $\operatorname{rank} A = \operatorname{rank} AA^T$ 。这两个条件也足以确保所述分解 $A = P\Lambda Q^T$ 的存在性。如果 $A$ 是实矩阵，这指的是什么？给出一个 $A \in M_2$ 的例子，说明它不能写成 $A = P\Lambda Q^T$ ，其中 $P, Q \in M_2$ 是复正交矩阵，而 $\Lambda \in M_2$ 是对角矩阵。

说明奇异值分解为什么可以看作正规矩阵的谱定理的推广.
关于正规矩阵交换族同时酉对角化的定理(2.5.5)对于奇异值分解有一个类似的结果. 设 $\mathcal{F} = \{A_i : i \in \mathcal{F}\} \subset M_{m,n}$ , 假定存在酉矩阵 $V \in M_m$ 和 $W \in M_n$ 使得每个 $V^* A_i W$ 是在习题23的意义下（即在 $i \neq j$ 时其 $i, j$ 元为0）的“对角”矩阵. 证明, (a) 每个 $A_i^* A_j \in M_n$ 是正规矩阵, 且 $\varsigma = \{A_i A_j^* : i, j \in \mathcal{F}\} \subset M_m$ 是一个交换族. (b) $A_i A_j^* A_k = A_k A_j^* A_i$ 对每个 $i, j, k \in \mathcal{F}$ 成立. 这每一个必要条件也是族 $\mathcal{F}$ 有奇异值分解形式的同时分解的充分条件.
求两个给定矩阵 $A, B \in M_{m,n}$ 的奇异值分解形式的同时分解是前一个习题的一个有意思的特殊情形。证明，存在酉矩阵 $V \in M_{n}, W \in M_{n}$ 使得 $A = V\Sigma W^{*}$ 和 $B = V\Lambda W^{*}$ （其中 $\Sigma, \Lambda \in M_{m,n}$ 是“对角”矩阵）当且仅当 $AB^{*}$ 和 $B^{*}A$ 都是正规矩阵。提示：为了证明该条件是充分的，可证明只要考虑 $A - \Sigma$ 是非负矩阵又是“对角”矩阵的情形。若把 $\Sigma$ 的相同对角元排在一块，证明，若 $\Sigma B^{*}$ 和 $B^{*}\Sigma$ 是正规矩阵，则 $B$ 是一个分块对角矩阵，其中可能除了一个子块以外（若 $A$ 是奇异矩阵）所有子块都是正规矩阵。对每一个子块，或者用关于正规矩阵的谱定理或者用奇异值分解便可得到结论。
如果我们希望有酉矩阵 $V \in M_{m}$ 和 $W \in M_{n}$ 使得族 $\mathcal{F} = \{A_{i}: i \in \mathcal{I}\} \subset M_{m,n}$ 中的每一个成员都可以写成 $A_{i} = V\Sigma_{i}W^{*}$ ，其中每个 $\Sigma_{i}$ 都是“对角”矩阵，证明，对每个 $i$ ， $j \in \mathcal{I}$ ， $A_{i}A_{j}^{*} \in M_{m}$ 和 $A_{i}^{*}A_{j} \in M_{n}$ 都是正规矩阵的条件是必要的，但是当该族有三个或更多的矩阵时，它不是充分的。提示：考虑

\mathcal {F} = \left\{\left[ \begin{array}{l l} 1 & 0 \\ 0 & i \end{array} \right], \left[ \begin{array}{l l} 0 & 1 \\ 1 & 0 \end{array} \right], \left[ \begin{array}{l l} 0 & 1 \\ - 1 & 0 \end{array} \right] \right\}.

当该族的矩阵多于两个时，说明关于两个矩阵情形的证明中的哪个部分行不通。

进一步阅读与注释 Sylvester 于 1889 年证明了关于实方阵的奇异值分解。关于一般的 $m \times n$ 复矩阵的奇异值分解的最早证明似乎是在下文中：C. Eckart and G. Young, “A Principal Axis Transformation for Non-Hermitian Matrices,” Bull. Amer. Math. Soc. 45 (1939), 118-121. Eckart 和 Young 的文章也包含了如下结果：两个矩阵 $A, B \in M_{m \times n}$ 有奇异值分解形式的同时分解（其中的相应“对角”因子都是实矩阵）当且仅当 $AB^{*}$ 和 $B^{*}A$ 都是 Hermite 矩阵。关于矩阵族有奇异值分解形式的同时分解的诸多结果的一个综述以及更多的参考资料可参看 P. M. Gibson, “Simultaneous Diagonalization of Rectangular Complex Matrices,” Linear Algebra Appl. 9(1974), 45-53.

7.3_极形式和奇异值分解

7.3 极形式和奇异值分解

习题