3.7 最小二乘扰动分析*

定理3.34 设 $A \in \mathbb{R}^{m \times n}$ ( $m \geq n$ ) 且 $\operatorname{rank}(A) = n$ . 设 $x$ 是线性最小二乘问题 (3.1) 的解, $\tilde{x}$ 极小化 $\|(A + \delta A)\tilde{x} - (b + \delta b)\|_2$ , 则

其中 $\kappa_{2}(A) = \sigma_{1}(A) / \sigma_{n}(A),\theta$ 为 $b$ 与 $\operatorname {Ran}(A)$ 的夹角，

并假定 $\varepsilon \cdot \kappa_{2}(A) < 1$ (确保 $A + \delta A$ 满秩, 从而 $\tilde{x}$ 唯一确定).

我们记

这就是最小二乘问题的条件数. 当 $\theta = 0$ 时, $b \in \operatorname{Ran}(A)$ , 此时 $\kappa_{LS} = 2\kappa_2(A)$ ; 当 $\theta = \pi / 2$ 时, $b \perp \operatorname{Ran}(A)$ , 此时最小二乘解为 $x = 0$ , 而 $\kappa_{LS} = \infty$ ; 当 $0 < \theta < \pi / 2$ 时, $\kappa_{LS} = \mathcal{O}(\kappa_2^2 (A))$ .

定义残量 $r = b - Ax,\tilde{r} = (b + \delta b) - (A + \delta A)\tilde{x},$ 我们有下面的性质[70]

当我们使用QR分解或SVD分解求解最小二乘问题时，由于采用的是正交变换，它们都是数值稳定的.而正规方程涉及求解方程组 $A^{\mathsf{T}}Ax = A^{\mathsf{T}}b,$ 其精度依赖于条件数 $\kappa_{2}(A^{\mathsf{T}}A) = \kappa_{2}^{2}(A)$ ，因为其误差是以 $\kappa_2^2 (A)$ 倍数增长.因此当 $A$ 的条件数较大时，正规方程法的精度会大大降低.