1.3 向量范数与矩阵范数

1.3.1 向量范数

定义1.13 (向量范数) 若函数 $f: \mathbb{R}^n \to \mathbb{R}$ (或 $f: \mathbb{C}^n \to \mathbb{R}$ ) 满足

(1) $f(x)\geq 0,\forall x\in \mathbb{R}^n$ (或 $\mathbb{C}^n$ ), 等号当且仅当 $x = 0$ 时成立;
(2) $f(\alpha x) = |\alpha| \cdot f(x), \forall x \in \mathbb{R}^n$ (或 $\mathbb{C}^n$ ), $\alpha \in \mathbb{R}$ (或 $\mathbb{C}$ );
(3) $f(x + y)\leq f(x) + f(y),\forall x,y\in \mathbb{R}^n$ (或 $\mathbb{C}^n$

则称 $f(x)$ 为 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 上的范数 (norm), 通常记作 $\|x\|$ .

如果 $f$ 只满足 $f(x) \geq 0$ , 以及 (2) 和 (3), 则称为半范数 (seminorm).

例1.14 $\mathbb{R}^n$ 和 $\mathbb{C}^n$ 上常见的向量范数：

1-范数: $\| x\| _1 = |x_1| + |x_2| + \dots +|x_n|$
2-范数: $\|x\|_2 = \sqrt{|x_1|^2 + |x_2|^2 + \cdots + |x_n|^2}$ ;
$\infty$ -范数: $\|x\|_{\infty} = \max_{1 \leq i \leq n} |x_i|$ ;
$p$ -范数: $\| x \|_p = \left( \sum_{i=1}^{n} |x_i|^p \right)^{1/p}$ , $p \geq 1$ .

容易验证, 1-范数、2-范数和 $\infty$ -范数就是 $p$ -范数在 $p = 1, 2, \infty$ 的特殊情形.

$\Delta p$ -范数也称为Holder范数[150]或 $\ell_p$ 范数

定理1.32(范数的连续性)设 $\| \cdot \|$ 是 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ )上的一个向量范数, 则 $f(x)\triangleq \| x\|$ 是 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ )上的连续函数. （留作课外自习，利用范数的三角不等式）

定义1.14 (范数的等价性) 设 $\| \cdot \|_{\alpha}$ 与 $\| \cdot \|_{\beta}$ 是 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 上的两个向量范数, 若存在正常数 $c_1, c_2$ , 使得

c _ {1} \| x \| _ {\alpha} \leq \| x \| _ {\beta} \leq c _ {2} \| x \| _ {\alpha}

对任意 $x \in \mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 都成立, 则称 $\|\cdot\|_{\alpha}$ 与 $\|\cdot\|_{\beta}$ 是等价的.

定理1.33 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 上的所有向量范数都是等价的, 特别地, 有

\| x \| _ {2} \leq \| x \| _ {1} \leq \sqrt {n} \| x \| _ {2},

\| x \| _ {\infty} \leq \| x \| _ {1} \leq n \| x \| _ {\infty},

\| x \| _ {\infty} \leq \| x \| _ {2} \leq \sqrt {n} \| x \| _ {\infty}.

(板书, 以 $\mathbb{R}^n$ 为例, 只证明等价性, 三个不等式留作练习)

证明. 只需证明任意向量范数 $\| \cdot \|$ 都与 $\| x\|_{\infty}$ 等价即可, 即存在正常数 $c_{1}, c_{2}$ 使得

c _ {1} \| x \| _ {\infty} \leq \| x \| \leq c _ {2} \| x \| _ {\infty}, \quad \forall x \in \mathbb {R} ^ {n}.

考虑函数 $f(x)\triangleq \| x\|$ ，则 $f(x)$ 连续且非负.定义集合

S \triangleq \left\{x \in \mathbb {R} ^ {n}: \| x \| _ {\infty} = 1 \right\},

则 $S$ 是 $\mathbb{R}^n$ 中的有界闭集, 所以 $f(x)$ 在 $S$ 上存在最小值和最大值, 分别记为 $c_1$ 和 $c_2$ . 由于 $f(x) = 0$ 当且仅当 $x = 0$ , 所以 $c_1$ 和 $c_2$ 都大于 0.

对任意非零向量 $x \in \mathbb{R}^n$ , 有 $\frac{x}{\|x\|_{\infty}} \in S$ , 所以

c _ {1} \leq f \left({\frac {x}{\| x \| _ {\infty}}}\right) \leq c _ {2}, \quad {\text {即}} \quad c _ {1} \leq {\frac {\| x \|}{\| x \| _ {\infty}}} \leq c _ {2}.

所以结论成立.

更一般地, 根据 Jensen 不等式 [73]:

\left(\sum_ {i = 1} ^ {n} x _ {i} ^ {p}\right) ^ {1 / p} > \left(\sum_ {i = 1} ^ {n} x _ {i} ^ {q}\right) ^ {1 / q}, \quad x _ {i} > 0, 0 < p < q,

我们有

\| x \| _ {p} \geq \| x \| _ {q}, \quad \forall 1 \leq p \leq q.

Jensen不等式：

\left(\sum_ {i = 1} ^ {n} x _ {i} ^ {p}\right) ^ {1 / p} > \left(\sum_ {i = 1} ^ {n} x _ {i} ^ {q}\right) ^ {1 / q}, \quad x _ {i} > 0, 0 < p < q.

证明. 直接计算可得

\begin{array}{l} \frac {\left(\sum_ {i = 1} ^ {n} x _ {i} ^ {q}\right) ^ {1 / q}}{\left(\sum_ {i = 1} ^ {n} x _ {i} ^ {p}\right) ^ {1 / p}} = \left(\sum_ {i = 1} ^ {n} \frac {x _ {i} ^ {q}}{\left(\sum_ {j = 1} ^ {n} x _ {j} ^ {p}\right) ^ {q / p}}\right) ^ {1 / q} \\ = \left(\sum_ {i = 1} ^ {n} \left(\frac {x _ {i} ^ {p}}{\sum_ {j = 1} ^ {n} x _ {j} ^ {p}}\right) ^ {q / p}\right) ^ {1 / q} \\ < \left(\sum_ {i = 1} ^ {n} \frac {x _ {i} ^ {p}}{\sum_ {j = 1} ^ {n} x _ {j} ^ {p}}\right) ^ {1 / q} = 1. \\ \end{array}

事实上, 有限维赋范线性空间上的所有范数都是等价的 [154].

定理 1.34 (Cauchy-Schwarz 不等式) 设 $(\cdot, \cdot)$ 是 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 上的内积, 则对任意 $x, y \in \mathbb{C}^n$ (或 $\mathbb{R}^n$ ), 有

| (x, y) | ^ {2} \leq (x, x) \cdot (y, y) \quad {\text {或}} \quad | (x, y) | \leq \| x \| \cdot \| y \|,

且等号成立的充要条件是 $x$ 与 $y$ 线性相关, 其中 $\| \cdot \|$ 为内积导出范数, 即 $\| x\| = \sqrt{(x,x)}$

(板书)

证明. 若 $y = 0$ ，则结论显然成立

假设 $y \neq 0$ ，则对任意 $\alpha \in \mathbb{C}$ 有

0 \leq (x - \alpha y, x - \alpha y) = (x, x) - \bar {\alpha} (x, y) - \alpha ((y, x) - \bar {\alpha} (y, y)).

由于 $y \neq 0$ , 所以 $(y, y) > 0$ . 取 $\bar{\alpha} = \frac{(y, x)}{(y, y)}$ , 代入上式可得

0 \leq (x, x) - \frac {(y , x)}{(y , y)} (x, y).

由于 $(y,x) = \overline{(x,y)}$ ，所以上式即为

\left| (x, y) \right| ^ {2} \leq (x, x) \cdot (y, y).

下面考虑等号成立的条件

充分性. 如果 $x$ 与 $y$ 线性相关, 则通过直接验证即可知等号成立.

必要性. 假设等号成立. 如果 $y = 0$ , 则显然 $x$ 与 $y$ 线性相关. 现假定 $y \neq 0$ . 取 $\alpha = \frac{(x, y)}{(y, y)}$ , 则

(x - \alpha y, x - \alpha y) = (x, x) - \frac {| (x , y) | ^ {2}}{(y , y)} = 0,

即 $x - \alpha y = 0$ 所以 $x$ 与 $y$ 线性相关

注记：Cauchy-Schwarz 不等式在有的文献中也称为 Cauchy-Bunyakovski 不等式或 Cauchy-Schwarz-Bunyakovski 不等式 [105]. 中学数学中的 Cauchy 不等式

\left(a _ {1} b _ {1} + a _ {2} b _ {2} + \dots + a _ {n} b _ {n}\right) ^ {2} \leq \left(a _ {1} ^ {2} + a _ {2} ^ {2} + \dots + a _ {n} ^ {2}\right) \left(b _ {1} ^ {2} + b _ {2} ^ {2} + \dots + b _ {n} ^ {2}\right), \quad \left(a _ {i}, b _ {i} \in \mathbb {R}\right)

是 Cauchy-Schwarz 不等式的特例.

更一般地, 我们有下面的Holder不等式

定理1.35 (Holder不等式) 设 $(\cdot, \cdot)$ 是 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 上的标准内积, 则对任意 $x, y \in \mathbb{C}^n$ (或 $\mathbb{R}^n$ ), 有

| (x, y) | \leq \| x \| _ {p} \cdot \| y \| _ {q},

其中 $p,q > 0$ ，且 $\frac{1}{p} +\frac{1}{q} = 1.$

(留作课外自习)

内积导出范数

设 $\mathbb{S}$ 是内积空间, 对任意 $x \in \mathbb{S}$ , 定义

\left\| x \right\| \triangleq (x, x) ^ {\frac {1}{2}}, \tag {1.6}

则可以验证, $\| x \|$ 是 $\mathbb{S}$ 上的范数. 这就是由内积导出的范数

A 任意一个内积都可以导出一个相应的范数.

例1.15 $\mathbb{R}^n$ 上由标准内积导出的范数为

\left\| x \right\| = (x, x) ^ {\frac {1}{2}} = \left(\sum_ {i = 1} ^ {n} x _ {i} ^ {2}\right) ^ {\frac {1}{2}}.

这就是2-范数

例1.16 (极化恒等式) 设 $\|\cdot\|$ 是 $\mathbb{R}^n$ 上由内积 $(\cdot, \cdot)$ 导出的范数, 则有

(x, y) = \frac {1}{4} \left(\| x + y \| ^ {2} - \| x - y \| ^ {2}\right).

证明. 由题意可知

\left\| x + y \right\| ^ {2} = (x + y, x + y) = (x, x) + 2 (x, y) + (y, y),

\left\| x - y \right\| ^ {2} = (x - y, x - y) = (x, x) - 2 (x, y) + (y, y).

两式相减即可得结论成立.

1.3.2 矩阵范数

定义1.15 (矩阵范数) 若函数 $f:\mathbb{R}^{m\times n}\to \mathbb{R}$ (或 $f:\mathbb{C}^{m\times n}\to \mathbb{R}$ ) 满足

(1) $f(A)\geq 0,\forall A\in \mathbb{R}^{m\times n}$ (或 $\mathbb{C}^{m\times n}$ )且等号当且仅当 $A = 0$ 时成立；
(2) $f(\alpha A) = |\alpha |f(A),\forall A\in \mathbb{R}^{m\times n}$ (或 $\mathbb{C}^{m\times n})$ ， $\alpha \in \mathbb{R}$ (或 $\mathbb{C}$ ；
(3) $f(A + B)\leq f(A) + f(B),\forall A,B\in \mathbb{R}^{m\times n}$ (或 $\mathbb{C}^{m\times n})$

则称 $f(X)$ 为 $\mathbb{R}^{m\times n}$ (或 $\mathbb{C}^{m\times n}$ ) 上的矩阵范数, 通常记作 $\| X\|$ .

设 $f$ 是 $\mathbb{R}^{n\times n}$ (或 $\mathbb{C}^{n\times n}$ ) 上的矩阵范数, 如果 $f$ 还满足

(4) $f(AB)\leq f(A)f(B),\forall A,B\in \mathbb{R}^{n\times n}$ (或 $\mathbb{C}^{n\times n}$ 1

则称 $f$ 是相容的矩阵范数

注记

在本讲义中, 如果不加特别指出, 所使用的矩阵范数都是指相容的矩阵范数.

设 $\| \cdot \|$ 是 $\mathbb{R}^{m\times n}$ (或 $\mathbb{C}^{m\times n}$ ) 上的矩阵范数, 若对任意 $A\in \mathbb{R}^{m\times n}$ (或 $\mathbb{C}^{m\times n}$ ) 和任意 $x\in \mathbb{R}^n$ (或 $\mathbb{C}^n$ ), 有

\| A x \| _ {\alpha} \leq \| A \| \| x \| _ {\beta},

则称矩阵范数 $\| \cdot \|$ 与向量范数 $\| \cdot \|_{\alpha}$ 和 $\| \cdot \|_{\beta}$ 相容, 这里的 $\| \cdot \|_{\alpha}$ 和 $\| \cdot \|_{\beta}$ 分别为 $\mathbb{R}^m$ 和 $\mathbb{R}^n$ (或 $\mathbb{C}^m$ 和 $\mathbb{C}^n$ ) 上的向量范数.

一类常用的矩阵范数是由向量范数导出的算子范数

引理1.36（算子范数）设 $\|\cdot\|$ 是 $\mathbb{R}^n$ （或 $\mathbb{C}^n$ ）上的向量范数，则

\| A \| \triangleq \sup _ {x \in \mathbb {R} ^ {n}, x \neq 0} \frac {\| A x \|}{\| x \|} = \max _ {\| x \| = 1} \| A x \|

是 $\mathbb{R}^{n\times n}$ (或 $\mathbb{C}^{n\times n}$ ) 上的矩阵范数, 称为算子范数, 有时也称为诱导范数或导出范数. (板书)

相应地, 可以定义 $\mathbb{R}^{m \times n}$ (或 $\mathbb{C}^{m \times n}$ ) 上的算子范数, 此时涉及 $\mathbb{R}^m$ 和 $\mathbb{R}^n$ (或 $\mathbb{C}^m$ 和 $\mathbb{C}^n$ ) 上的向量范数.

例1.17 设 $A \in \mathbb{R}^{n \times n}$ (或 $\mathbb{C}^{n \times n}$ ), 常见的矩阵范数有:

$p$ -范数 (算子范数)

\| A \| _ {p} = \sup _ {x \neq 0} \frac {\| A x \| _ {p}}{\| x \| _ {p}}, \quad p \geq 1.

Frobenius 范数, 简称 $F$ -范数

\| A \| _ {F} = \sqrt {\sum_ {i = 1} ^ {n} \sum_ {j = 1} ^ {n} | a _ {i j} | ^ {2}};

(留作课外自习, 验证满足 4 条性质)

引理1.37 可以证明：

(1) 矩阵 1-范数 (列范数): $\|A\|_1 = \max_{1 \leq j \leq n} \left( \sum_{i=1}^{n} |a_{ij}| \right)$ ;
(2) 矩阵 $\infty$ -范数 (行范数): $\|A\|_{\infty} = \max_{1 \leq i \leq n} \left( \sum_{j=1}^{n} |a_{ij}| \right)$ ;
(3) 矩阵 2-范数: $\| A \|_2 = \sqrt{\rho(A^*A)}$ ;
(4) 矩阵 $F$ -范数: $\|A\|_F = \sqrt{\operatorname{tr}(A^*A)}$

(板书, 以 $\infty$ -范数和 2-范数为例, 其他留作练习)

计算2-范数时需要求谱半径，因此通常比计算1-范数和 $\infty$ -范数更困难.但在某些情况下可以用下面的范数等价性来估计一个矩阵的2-范数

定理1.38 (矩阵范数的等价性) $\mathbb{R}^{n\times n}$ (或 $\mathbb{C}^{n\times n}$ ) 上的所有范数都是等价的, 特别地, 有

\begin{array}{l} \frac {1}{\sqrt {n}} \| A \| _ {1} \leq \| A \| _ {2} \leq \sqrt {n} \| A \| _ {1}, \\ \frac {1}{\sqrt {n}} \| A \| _ {\infty} \leq \| A \| _ {2} \leq \sqrt {n} \| A \| _ {\infty}. \\ \end{array}

(留作练习)

矩阵范数的更多性质

设 $A\in \mathbb{R}^{n\times n}$ (或 $\mathbb{C}^{n\times n})$ ， $x\in \mathbb{R}^n$ (或 $\mathbb{C}^n$

(1) 对任意矩阵范数 $\| \cdot \|$ ，有 $\| A^k\| \leq \| A\| ^k$
(2) 对任意算子范数 $\| \cdot \|$ , 有 $\| Ax \| \leq \| A \| \cdot \| x \|, \| AB \| \leq \| A \| \cdot \| B \|$ ;
(3) $\| Ax\| _2\leq \| A\| _F\cdot \| x\| _2,\| AB\| _F\leq \| A\| _F\cdot \| B\| _F;$
(4) $F$ -范数不是算子范数；
(5) $\| \cdot \| _2$ 和 $\| \cdot \| _F$ 是酉不变范数, 即对任意酉矩阵 (或正交矩阵) $U, V$ , 有

\left\| U A \right\| _ {2} = \left\| A V \right\| _ {2} = \left\| U A V \right\| _ {2} = \left\| A \right\| _ {2},

\| U A \| _ {F} = \| A V \| _ {F} = \| U A V \| _ {F} = \| A \| _ {F}

(6) $\| A^{*}\|_{2} = \| A\|_{2},\| A^{*}\|_{1} = \| A\|_{\infty}$
(7) 若 $A$ 是正规矩阵, 则 $\| A \|_2 = \rho(A)$ .

(留作课外自习)

在数据处理和机器学习等学科中经常会用到下面的范数:

向量 $\ell_0$ 范数：

\| x \| _ {0} \triangleq x \text {中 非 零 元 素 的 个 数 ，} x \in \mathbb {R} ^ {n} (\text {或} \mathbb {C} ^ {n}).

需要指出的是, 上式定义的 $\ell_0$ 范数并不满足向量范数定义中的条件 (2). 该范数主要用于衡量向量的稀疏性, 是压缩感知和稀疏优化中的研究对象.

矩阵核范数 (Nuclear Norm):

\| A \| _ {*} \triangleq \sum \sigma_ {i}, \quad \text {其 中} \sigma_ {i} \text {为} A \text {的 所 有 奇 异 值}, A \in \mathbb {R} ^ {m \times n} (\text {或} \mathbb {C} ^ {m \times n}).

(关于矩阵奇异值的定义见3.12)根据奇异值的性质，核范数也可以定义为

\left\| A \right\| _ {*} \triangleq \operatorname {t r} \left(\sqrt {A ^ {\mathrm {T}} A}\right).

矩阵直和

设 $A_{i}\in \mathbb{R}^{n_{i}\times n_{i}}$ (或 $\mathbb{C}^{n_i\times n_i}$ ， $i = 1,2,\ldots ,k$ ，定义直和

\bigoplus_ {i = 1} ^ {k} A _ {i} = A _ {1} \oplus A _ {2} \oplus \dots \oplus A _ {k} \triangleq \left[ \begin{array}{c c c c} A _ {1} & & & \\ & A _ {2} & & \\ & & \ddots & \\ & & & A _ {k} \end{array} \right],

即以 $A_{i}$ 为对角块的块对角矩阵. 可以验证

\left\| \bigoplus_ {i = 1} ^ {k} A _ {i} \right\| _ {p} = \max _ {1 \leq i \leq k} \| A _ {i} \| _ {p}, \quad p = 1, 2, \infty . \tag {1.7}

1.3.3 谱半径与范数

定理1.39(谱半径与范数的关系）设 $A\in \mathbb{R}^{n\times n}$ (或 $\mathbb{C}^{n\times n}$ ，则

(1) 对任意算子范数, 有 $\rho(A) \leq \|A\|$ ;
(2) 反之, 对任意 $\varepsilon > 0$ , 都存在一个算子范数 $\| \cdot \|_{\varepsilon}$ , 使得 $\| A \|_{\varepsilon} \leq \rho(A) + \varepsilon$ , 其中范数 $\| \cdot \|_{\varepsilon}$ 依赖于 $A$ 和 $\varepsilon$ . 所以, 若 $\rho(A) < 1$ , 则存在算子范数 $\| \cdot \|_{\varepsilon}$ , 使得 $\| A \|_{\varepsilon} < 1$ . (板书)

证明.(1)设 $\lambda$ 是 $A$ 的一个特征值，对应的特征向量为 $x\neq 0$ ，则由 $Ax = \lambda x$ 可得

| \lambda | \cdot \| x \| = \| \lambda x \| = \| A x \| \leq \| A \| \cdot \| x \|.

故 $|\lambda |\leq \| A\|$ .所以

\rho (A) = \max _ {\lambda \in \sigma (A)} | \lambda | \leq \| A \|.

(2) 用构造法证明. 设 $A$ 的 Jordan 标准型为 $J$ , 即

S ^ {- 1} A S = J = \bigoplus_ {i = 1} ^ {p} J _ {i}, \quad \text {其 中} \quad J _ {i} = \left[ \begin{array}{c c c c} {\lambda_ {i}} & {1} & & \\ & {\ddots} & {\ddots} & \\ & & {\ddots} & {1} \\ & & & {\lambda_ {i}} \end{array} \right].

令 $D = \mathrm{diag}(1, \varepsilon, \varepsilon^2, \ldots, \varepsilon^{n-1})$ , 则

(S D) ^ {- 1} A (S D) = D ^ {- 1} J D = \bigoplus_ {i = 1} ^ {p} J _ {i} ^ {\varepsilon}, \quad \text {其 中} \quad J _ {i} ^ {\varepsilon} = \left[ \begin{array}{c c c c} {\lambda_ {i}} & {\varepsilon} & & \\ & {\ddots} & {\ddots} & \\ & & {\ddots} & {\varepsilon} \\ & & & {\lambda_ {i}} \end{array} \right].

定义 $\| x\|_{\varepsilon}\triangleq \| (SD)^{-1}x\|_{\infty}$ 可以证明 $\| \cdot \|_{\varepsilon}$ 构成一个向量范数(见习题1.6).由此可构造算子范数

\begin{array}{l} \| A \| _ {\varepsilon} \triangleq \sup _ {x \neq 0} \frac {\| A x \| _ {\varepsilon}}{\| x \| _ {\varepsilon}} = \sup _ {x \neq 0} \frac {\| (S D) ^ {- 1} A x \| _ {\infty}}{\| (S D) ^ {- 1} x \| _ {\infty}} \\ = \sup _ {y \neq 0} \frac {\| (S D) ^ {- 1} A (S D) y \| _ {\infty}}{\| y \| _ {\infty}} \\ = \left\| \bigoplus_ {i = 1} ^ {k} J _ {i} ^ {\varepsilon} \right\| _ {\infty} = \max _ {1 \leq i \leq p} \| J _ {i} ^ {\varepsilon} \| _ {\infty} \leq \max _ {1 \leq i \leq p} \left\{\left| \lambda_ {i} \right| \right\} + \varepsilon = \rho (A) + \varepsilon . \\ \end{array}

事实上, 定理 1.39 中的结论 (1) 对任意矩阵范数都成立, 见习题 1.10.

除此之外，我们还有下面的性质

推论1.40 设 $A \in \mathbb{R}^{n \times n}$ (或 $\mathbb{C}^{n \times n}$ ), 则 $\|A\|_2^2 \leq \|A\|_1 \|A\|_\infty$ , 且

\max _ {1 \leq i, j \leq n} \left\{\left| a _ {i j} \right| \right\} \leq \| A \| _ {2} \leq n \max _ {1 \leq i, j \leq n} \left\{\left| a _ {i j} \right| \right\}.

(留作练习)

1.3.4 最佳逼近与正交投影

下面是关于正交投影变换的一个常用性质, 可以直接通过 2-范数的定义证明.

定理1.41 设 $P \in \mathbb{R}^{n \times n}$ (或 $\mathbb{C}^{n \times n}$ ) 是正交投影矩阵, 则 $\|P\|_2 = 1$ , 且对 $\forall x \in \mathbb{R}^n$ (或 $\mathbb{C}^n$ ), 有

\| x \| _ {2} ^ {2} = \| P x \| _ {2} ^ {2} + \| (I - P) x \| _ {2} ^ {2}.

正交投影可用于描述最佳逼近问题的解

定理1.42 设 $\mathbb{S}$ 是 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 的子空间, $z \in \mathbb{R}^n$ (或 $\mathbb{C}^n$ ) 是一个给定的向量, 则最佳逼近问题

\min _ {x \in \mathbb {S}} \| x - z \| _ {2}

的唯一解为

x _ {*} = P _ {\mathbb {S}} z.

即 $\mathbb{S}$ 中距离 $z$ 最近 (在2-范数意义下)的向量是 $z$ 在 $\mathbb{S}$ 中的正交投影. （留作练习）

上述定理中的2-范数可以推广到一般的能量范数

推论1.43设 $A\in \mathbb{R}^{n\times n}$ (或 $\mathbb{C}^{n\times n}$ )对称正定(或Hermite正定), $\mathbb{S}$ 是 $\mathbb{R}^n$ (或 $\mathbb{C}^n$ )的子空间,给定 $z\in \mathbb{R}^n$ (或 $\mathbb{C}^n$ ),则 $x_{*}$ 是最佳逼近问题

\min _ {x \in \mathbb {S}} \| x - z \| _ {A}

的解的充要条件是

x _ {*} \in \mathbb {S} \quad {\text {且}} \quad A (x _ {*} - z) \perp \mathbb {S}.

此处能量范数 $\| \cdot \| _A$ 的定义为： $\| x - z\| _A\triangleq \sqrt{(x - z)^*A(x - z)}.$ （留作练习）

1.3_向量范数与矩阵范数