5.4_向量范数的分析性质

5.4 向量范数的分析性质

前两节中的各个例子清楚地说明,有许多各不相同的函数 :VR\|\cdot\|: V \to \mathbb{R} 满足范数的各条公理。这样,有多种不同的范数可供选用。这是很有用的,因为对于某种应用来说,一种范数可能比另一种范数更方便或更合适。例如, l2l_{2} 范数用于优化问题往往是方便的,因为(除了原点以外)它是连续可微的。另一方面, l1l_{1} 范数虽然只在一个较小的集合上可微,但是它在统计学中较为通用,因为它(是)导出的估计可能比经典的回归估计更有说服力。 l1l_{1} 范数往往用起来是最自然的范数,因为它直接检验各个分量的收敛性,然而,遗憾的是,不论在分析上还是在代数上,它使用起来可能都不方便。在实际应用中,基于一种范数可以很自然地建立起一种理论,与在某种场合很容易计算这种范数可能不是一回事。因此,知道两种不同的范数之间可能存在什么关系是很重要的。幸运的是,在有限维情形,所有范数都在某种很强的意义下是“等价”的。

分析中的基本概念是序列的收敛概念,而向量范数可以用来度量向量序列的收敛性。

5.4.1 定义 设 VVR\mathbb{R}C\mathbb{C} 上的向量空间,且 \|\cdot\|VV 上的范数,说 VV 中的向量序列 {x(k)}\{x^{(k)}\} 关于范数 \|\cdot\| 收敛于 xVx \in V ,当且仅当 kk \to \inftyx(k)x0\|x^{(k)} - x\| \to 0

如果 {x(k)}\{x^{(k)}\} 关于范数 \|\cdot\| 收敛于 xx ,则记

x(k)x,或 关 于,limk+x(k)x.x ^ {(k)} \underset {\| \cdot \|} {\longrightarrow} x, \text {或 关 于} \| \cdot \|, \lim _ {k \rightarrow + \infty} x ^ {(k)} - x.

应当弄清楚的是,上面提到的收敛性与哪一种范数有关,于是,关于一个给定的向量序列是否可能对一种范数收敛而对另一种范数则不收敛的问题提出来了。这种二重性在无限维空间中可能出现。

5.4.2 例 考虑 C[0,1](0,1]\mathbb{C}[0,1](|0,1] 上的所有实值或复值连续函数组成的空间)中的函数序列 {fk}\{f_k\} ,定义如下:对 k=2,3,4,k = 2,3,4,\dots

fk(x)=0,0x1k;fk(x)=2(k32xk1),1kx32k;\begin{array}{l} f _ {k} (x) = 0, \\ 0 \leqslant x \leqslant \frac {1}{k}; \\ f _ {k} (x) = 2 \left(k ^ {3 2} x - k ^ {1}\right), \\ \frac {1}{k} \leqslant x \leqslant \frac {3}{2 k}; \\ \end{array}

268

[269]

270

fk(x)=2(k3/2x+2k12),32kx2k;f _ {k} (x) = 2 \left(- k ^ {3 / 2} x + 2 k ^ {1 2}\right), \quad \frac {3}{2 k} \leqslant x \leqslant \frac {2}{k};
fk(x)0.2kx1.f _ {k} (x) - 0. \quad \frac {2}{k} \leqslant x \leqslant 1.

于是可以算出,

kk \to \infty 时, fk112k1.20\left|f_{k}\right|_{1} - \frac{1}{2} k^{-1.2} \rightarrow 0 ;

对所有 k,fk2=13k, \|f_k\|_2 = \frac{1}{\sqrt{3}}

kk \to \infty 时, fk=k1/2.\|f_k\|_{\infty} = k^{1/2} \to \infty.

所以,关于 L1L_{1}limkfk=0\lim_{k\to \infty}f_k = 0 ,但是关于其他两种范数就不为零.

练习 画出上例中所描述的各个函数的草图,并且验证关于 L1L_{1}L2L_{2}L3L_{3} 范数所做的论断。

练习 设 \|\cdot\| 是向量范数,如果 x(k)xx^{(k)} \longrightarrow x ,且 x(k)yx^{(k)} \longrightarrow y 利用三角不等式证明 x=yx = y 。因此,关于给定的范数,讨论一个序列的极限(如果有的话)是有意义的。

所幸的是,例(5.4.2)中出现的现象在有限维向量空间的情形不可能发生。为了看出这一点,需要一个关于范数连续性的一般引理。

5.4.3 引理 设 \| \cdot \| 是域 F(R\mathbf{F}(\mathbf{R}C\mathbf{C} ) 上的向量空间 VV 上的范数,又设 x(1),x(2),,x(m)Vx^{(1)}, x^{(2)}, \dots, x^{(m)} \in V 是给定的向量,则用

g(z1,z2,,zm)z1x(1)+z2x(2)++zmx(m)g \left(z _ {1}, z _ {2}, \dots , z _ {m}\right) \equiv \| z _ {1} x ^ {(1)} + z _ {2} x ^ {(2)} + \dots + z _ {m} x ^ {(m)} \|

定义的函数 g:FmRg: \mathbf{F}^m \to \mathbf{R} 是一致连续的函数.

证明:设 u=i=1muix(i)u = \sum_{i=1}^{m} u_{i} x^{(i)}v=i=1mvix(i)v = \sum_{i=1}^{m} v_{i} x^{(i)} ,经计算,

g(u1,,um)g(v1,,vm)=uvuv=i=1m(uivi)x(i)i=1muivix(i)Cmax1i,muivi,\begin{array}{l} \left. \left| g \left(u _ {1}, \dots , u _ {m}\right) - g \left(v _ {1}, \dots , v _ {m}\right) \right| = \left| \quad \| u \| - \| v \| \right| \leqslant \| u - v \| \right. \\ = \left\| \sum_ {i = 1} ^ {m} \left(u _ {i} - v _ {i}\right) x ^ {(i)} \right\| \leqslant \sum_ {i = 1} ^ {m} | u _ {i} - v _ {i} | \| x ^ {(i)} \| \leqslant C \max _ {1 \leqslant i, m} | u _ {i} - v _ {i} |, \\ \end{array}

其中 Cmmax1imx(i)C \equiv m \max_{1 \leq i \leq m} \| x^{(i)} . 第一个不等式可由引理(5.1.2)得到. 注意, 有限常数 CC 只依赖于范数 \| \cdot \|mm 个向量 x(1),,x(m)x^{(1)}, \dots, x^{(m)} . 如果向量 x(i)x^{(i)} 都是零向量, 则无需证明, 否则有 C>0C > 0 . 为了使 g(u1,,um)g(v1,,vm)<ϵ|g(u_1, \dots, u_m) - g(v_1, \dots, v_m)| < \epsilon , 我们只需选取 uivi<ϵ/C|u_i - v_i| < \epsilon / C .

虽然引理并未要求向量空间是有限维的,但是,向量 x(i)x^{(i)} 的个数有限是很重要的。

练习 试用这个引理推出, Rn\mathbb{R}^nCn\mathbb{C}^n 上的每个向量范数都是一致连续函数。

然而, VnV_{n} 的有限维性质对下面的基本事实是必不可少的.

5.4.4 定理 设 f1f_{1}f2f_{2} 是域 F(R\mathbf{F}(\mathbf{R}C)\mathbf{C}) 上的有限维向量空间 VV 上的两个实值函数,又设 B={x(1),x(n)}\mathcal{B} = \{x^{(1)},\dots x^{(n)}\}VV 的基。假定 f1f_{1}f2f_{2}

(a) 正定的:对所有 xVx \in Vfi(x)0,fi(x)=0f_{i}(x) \geqslant 0, f_{i}(x) = 0 当且仅当 x=0x = 0
(b)齐次的:对所有 αF,xV,fα(x)=afα(x)\alpha \in \mathbb{F}, x \in V, f_{\alpha}(x) = |a|f_{\alpha}(x)
(c)连续的: f1(x(z))f_{1}(x(z))Fn\mathbf{F}^n 上连续,其中

z=[z1,,zn]TFnx(z)=z1x(1)++znx(n).z = \left[ z _ {1}, \dots , z _ {n} \right] ^ {T} \in \mathbf {F} ^ {n} \quad \text {且} \quad x (z) = z _ {1} x ^ {(1)} + \dots + z _ {n} x ^ {(n)}.

则存在有限正常数 CmC_{m}CMC_{M} ,使得

Cmf1(x)f2(x)CMf1(x)C _ {m} f _ {1} (x) \leqslant f _ {2} (x) \leqslant C _ {M} f _ {1} (x)

对所有 xVx \in V 成立.

证明:我们在Euclid单位球面 S={zFn:z2=1}S = \{z\in \mathbf{F}^n:\| z\| _2 = 1\} (它是 Fn\mathbf{F}^n 中的紧集)上定义 h(z)h(z)\equiv f2(x(z))/f1(x(z))f_{2}(x(z)) / f_{1}(x(z)) ,由(a)可知, h(z)h(z) 的分母在 ss 上不为零,因而根据(c)可知 h(z)h(z)ss 上连续.由Weierstrass定理(见附录E),连续函数 hh 在紧集 ss 上达到一个有限的正极大值 CMC_M 和一个正极小值 CmC_m ,因而

Cmf1(x(z))f2(x(z))CMf1(x(z))C _ {m} f _ {1} (x (z)) \leqslant f _ {2} (x (z)) \leqslant C _ {M} f _ {1} (x (z))

对所有 zSz \in S 成立。由于 zz2Sz' \parallel z\|_{2} \in S 对每个非零 zFnz \in \mathbf{F}^{n} 成立,(b) 保证这两个不等式对所有非零 zFnz \in \mathbf{F}^{n} 成立;因为 f1(0)=0f_{1}(0) = 0 ,所以它们对 z=0z = 0 显然成立。但每个 xVx \in V 都具有形式 x=x(z)x = x(z) ,其中 zFnz \in \mathbf{F}^{n} 为某个向量,这是因为 X\mathcal{X} 是基,因此要证的不等式对所有 xVx \in V 成立。

定义 设 VV 是实或复向量空间。函数 f:VRf: V \to \mathbf{R} 如果满足定理(5.4.4)中的正定性,齐次性和连续性等三个假设条件,则称这个函数是准范数。

当然,一类准范数的最重要的例子是向量范数;引理(5.4.3)说明,每个向量范数满足定理(5.4.4)的连续性假设(c). 一个满足三角不等式的准范数是向量范数。由于这类范数的重要性,我们把这种情形下所得到的结果叙述成下面的推论。

5.4.5 推论 设 α\| \cdot \|_{\alpha}β\| \cdot \|_{\beta} 是有限维实或复向量空间 VV 上的任意两个向量范数,则存在有限正常数 CmC_{m}CMC_{M} 使得 CmxαxβCMxαC_{m} \| x \|_{\alpha} \leqslant \| x \|_{\beta} \leqslant C_{M} \| x \|_{\alpha} 对所有 xVx \in V 成立。

练习 (5.4.5) 为何对向量半范数不成立?

练习 设 x=[x1,x2]tR2x = [x_1, x_2]^t \in \mathbb{R}^2 ,且考虑 R2\mathbb{R}^2 上的下列两种范数: x0[10x1,x2]T\|x\|_0 \equiv \left\|[10x_1, x_2]^T\right\| ,和 xp[x1,10x2]t\|x\|_p \equiv \left\|[x_1, 10x_2]^t\right\| 。证明函数 f(x)(x0xp)1/2f(x) \equiv (\|x\|_0 \|x\|_p)^{1/2}R2\mathbb{R}^2 上的准范数而不是范数。提示:考虑 f([1,1]T)f([1, 1]^T)f([0,1]T)f([0, 1]^T)f([1,0]T)f([1, 0]^T)

练习 如果 α1,,αk\| \cdot \|_{\alpha_1}, \dots, \| \cdot \|_{\alpha_k}VV 上的向量范数,证明, f(x)=(xα1,xαk)1/kf(x) = (\| x \|_{\alpha_1} \dots, \| x \|_{\alpha_k})^{1 / k}h(x)=min{xα1,,xαk}h(x) = \min \{\| x \|_{\alpha_1}, \dots, \| x \|_{\alpha_k}\}VV 上的准范数,但不一定是向量范数。

(5.4.5)的一个推论是,有限维复向量空间中的一个向量序列(关于范数)的收敛性与所采用的范数无关。

5.4.6 推论 如果 α\| \cdot \|_{\alpha}β\| \cdot \|_{\beta} 是有限维实或复向量空间的向量范数,又如果 {x(k)}\{x^{(k)}\} 是给定的向量序列,则关于 α\| \cdot \|_{\alpha}limkx(k)=x\lim_{k \to \infty} x^{(k)} = x ,当且仅当关于 β\| \cdot \|_{\beta}limkx(k)=x\lim_{k \to \infty} x^{(k)} = x

证明:因为 Cmx(k)xαx(k)xβCMx(k)xαC_m\| x^{(k)} - x\|_{\alpha}\leqslant \| x^{(k)} - x\|_{\beta}\leqslant C_M\| x^{(k)} - x\|_{\alpha} 对所有 k\pmb{k} 成立,由此可知,当 kk\to \infty 时, x(k)xα0\| x^{(k)} - x\|_{\alpha}\rightarrow 0 当且仅当 x(k)xβ0.\| x^{(k)} - x\|_{\beta}\rightarrow 0.

5.4.7 定义 两个范数称为是等价的,是指只要序列 {xk}\{x_{k}\} 对第一个范数收敛于向量 xx ,则它对第二个范数收敛于同一向量。因此(5.4.6)是说,对有限维实或复向量空间,所有范数都是等价的。在例(5.4.2)中已经看到,在无限维空间中两个范数可以不等价。

由于 Rn\mathbf{R}^nCn\mathbf{C}^n 上的所有范数都与 \| \cdot \| 等价,所以对任何向量范数有 limkx(k)=x\lim_{k\to \infty}x^{(k)} = x ,当且仅当对所有 i=1,2,,ni = 1,2,\dots ,n

limkx1(k)x1.\lim _ {k \rightarrow \infty} x _ {1} ^ {(k)} - x _ {1}.

这就是说,(关于任一个基)依分量收敛等价于对任何向量范数收敛。

在有限维情形,关于所有向量范数都等价的另一重要推论是,每个向量范数的单位球及单位球面是紧的。这个事实蕴涵任意向量范数的单位球上的连续复值函数是有界的,并且,如果这个函数是实的,则它达到它的极大值和极小值。

5.4.8 推论 设 VVRn\mathbb{R}^nCn\mathbb{C}^n 。设 f()f(\cdot)VV 上的准范数,则集合 {x:f(x)1}\{x: f(x) \leqslant 1\}{x:f(x)=1}\{x: f(x) = 1\} 是紧的。特别是,如果 \|\cdot\|VV 上的向量范数,则闭单位球 {x:x1}\{x: \|x\| \leqslant 1\} 及单位球面 {x:x=1}\{x: \|x\| = 1\} 都是紧的。

证明:由(5.4.4),存在某个 C>0C > 0 ,使得 x2Cf(x)\|x\|_2 \leqslant C f(x) 对所有 xVx \in V 成立,所以集合 {x:f(x)1}\{x: f(x) \leqslant 1\} 是有界集,它包含在一个半径为 CC ,中心在原点的普通Euclid球中。因为 f()f(\cdot) 连续,所以集合 {x:f(x)=1}\{x: f(x) = 1\}{x:f(x)1}\{x: f(x) \leqslant 1\} 都是闭的。由于 Rn\mathbb{R}^nCn\mathbb{C}^n 中的有界闭集是紧的,我们完成了证明。

我们遇到的问题常常不是判定给定的序列 {x(k)}\{x^{(k)}\} 是否收敛于某个给定向量 xx ,而是判别给定的序列 {x(k)}\{x^{(k)}\} 是否收敛。因为这个缘故,需要有一个收敛性判别准则,这个准则与序列所收敛的极限 xx 没有关系。如果存在这样一个极限 xx ,那么,当 k,jk, j \to \infty 时,

x(k)x(j)x(k)rxx(j)x(k)x+xr(j)0.\left\| x ^ {(k)} - x ^ {(j)} \right\| - \left\| x ^ {(k)} - r \mid x - x ^ {(j)} \right\| \leqslant \left\| x ^ {(k)} - x \right\| + \left\| x - r ^ {(j)} \right\|\rightarrow 0.

这是促成给出下述定义的原因.

5.4.9 定义 向量空间 VV 中的序列 {x(k)}\{x^{(k)}\} 是关于范数 \|\cdot\| 的 Cauchy 序列,指的是,对任意 ε>0\varepsilon > 0 ,都存在正整数 N(ε)N(\varepsilon) ,只要 k1,k2N(ε)k_1, k_2 \geq N(\varepsilon) ,就有

x(k1)x(k2)ε.\left\| x ^ {(k _ {1})} - x ^ {(k _ {2})} \right\| \leqslant \varepsilon .

5.4.10 定理 设 \|\cdot\| 是有限维实或复向量空间 VV 上给定的范数, {x(k)}\{x^{(k)}\}VV 中给定的向量序列。则序列 {x(k)}\{x^{(k)}\} 收敛于 VV 中的一个向量,当且仅当它是关于范数 \|\cdot\| 的 Cauchy 序列。

证明:选取 VV 的基 B\mathcal{B} ,且考虑等价的范数 [x]\| [x]_{\bullet} \|_{\bullet} ,注意到,如果假定 V=RnV = \mathbb{R}^{n}Cn(n\mathbf{C}^{n}(n 为某个整数)且假定其范数是 \|\cdot\|_{\infty} ,也不会影响证明的一般性,如果 {x(k)}\{x^{(k)}\} 是 Cauchy 序列,则对每个 i=1,2,i = 1, 2, \cdots 。实数或复数的每个分量序列 {ti(k)}\{t_{i}^{(k)}\} 也是 Cauchy 序列。由于实数或复数的 Cauchy 序列一定有极限,因而,对每个 i=1,2,,ni = 1, 2, \cdots, n ,都存在一个纯量 xix_{i} ,使得 limkxi(k)xi\lim_{k \to \infty} x_{i}^{(k)} - x_{i} ;容易验证 limkxi(k)=x\lim_{k \to \infty} x_{i}^{(k)} = x ,这里 x=x1,,xnTx = \lceil x_{1}, \cdots, x_{n} \rceil^{T} ,另一方面,如果存在 xx 使 limkx(k)=x\lim_{k \to \infty} x^{(k)} = x ,则 x(k1)x(k2)x(k1)x+xx(k2)\|x^{(k_1)} - x^{(k_2)}\| \leqslant \|x^{(k_1)} - x\| + \|x - x^{(k_2)}\| ,因而给定的序列是 Cauchy 序列。

(用于上述定理证明中的)实数域或复数域的一个基本性质是,一个序列是Cauchy序列,当且仅当它收敛于某个(实或复)纯量。这个性质叫做实数域和复数域的完备性。刚才证明了,对于任何向量范数,完备性都可以推广到有限维实和复向量空间,遗憾的是,完备性对非有限维的向量空间不一定成立。

5.4.11 定义 具有范数 \| \cdot \| 的向量空间 VV 称为对范数 \| \cdot \| 是完备的,指的是关于该范数 \| \cdot \| 是 Cauchy 序列的每个序列都收敛于 VV 的一点。

练习 考虑具有 L1L_{1} 范数 f101f(t)dt\left\| f\right\|_{1} - \int_{0}^{1}f(t)\mid \mathrm{d}t 的向量空间,并且考虑由

fk(t)=0,0t121k;f _ {k} (t) = 0, \quad 0 \leqslant t \leqslant \frac {1}{2} - \frac {1}{k};
fk(t)=k2(t12+1k),121kt12+1k;f _ {k} (t) = \frac {k}{2} \left(t - \frac {1}{2} + \frac {1}{k}\right), \quad \frac {1}{2} - \frac {1}{k} \leqslant t \leqslant \frac {1}{2} + \frac {1}{k};
fk(t)=1,12+1kt1f _ {k} (t) = 1, \quad \frac {1}{2} + \frac {1}{k} \leqslant t \leqslant 1

定义的函数。画出各函数 fkf_{k} 的草图。证明, {fk}\{f_{k}\} 是Cauchy序列,但是不存在函数 fC[0,1]f \in C[0, 1] ,使得对范数 1| \cdot |_{1} ,有 limk1fk=f\lim_{k \to 1} f_{k} = f

利用 Rn\mathbb{R}^nCn\mathbb{C}^n 上的任意范数或准范数的单位球是紧集的事实,可以引进另一种由旧范数生成新范数的有效方法.

5.4.12 定义 设 f()f(\cdot)VRnV \cdot \mathbf{R}^nCn\mathbf{C}^n 上的准范数。函数

fn(y)maxf(x)=1Reyxxf ^ {n} (y) \equiv \max _ {f (x) = 1} \operatorname {R e} y ^ {x} x

称为 ff 的对偶范数.

首先说明,对偶范数是 VV 上有意义的函数,这是因为对于每个固定的 yVy \in VReyx\operatorname{Re} y^{\prime} xxx 的连续函数,又由(5.4.8),集合 {x:f(x)=1}\{x: f(x) = 1\} 是紧集。根据Weierstrass定理, Reyx\operatorname{Re} y^{\prime} x 的极大值在某点 x0{x:f(x)=1}x_{0} \in \{x: f(x) = 1\} 达到。如果 cc 是纯量,且 c=1|c| = 1 ,则由 ff 的齐次性有

maxf(x)=1ytmaxf(t)max1,1Recyxmaxf(x)=1max1,1Rey(cx)=maxi=1maxf(x,i)=1Reyx=maxjI1Ryx,\begin{array}{l} \max _ {f (x) = 1} | y ^ {*} t | - \max _ {f (t)} \max _ {1, 1} \operatorname {R e} c y ^ {*} x - \max _ {f (x) = 1} \max _ {1, 1} \operatorname {R e} y ^ {*} (c x) \\ = \max _ {i = 1} \max _ {f (x, i) = 1} R e y ^ {*} x = \max _ {j \in I - 1} R ^ {*} y ^ {*} x, \\ \end{array}

所以,关于对偶范数、有一个有时是简便的等价定义,那就是

fD(y)max1,2,3,4yx.(5.4.12a)f ^ {D} (y) - \max _ {1, 2, 3, 4} y ^ {\prime} x. \tag {5.4.12a}

最后,必须说明,关于函数 f(i)f^{(i)} 的对偶范数名称是名符其实的。函数 f(i)()f^{(i)}(\cdot) 显然是齐次的和正定的,因为,如果 y0y \neq 0 ,则可以利用 f()f(\cdot) 的齐次性证明

fD(y)maxp,q,ryxyyf(y)y22f(y)>0.(275)f ^ {D} (y) - \max _ {p, q, r} | y ^ {*} x ^ {\prime} \geqslant \left| y ^ {*} \frac {y}{f (y)} \right| - \frac {\| y \| _ {2} ^ {2}}{f (y)} > 0. \tag {275}

也许值得注意的是,即使函数 f()f(\cdot) 不满足三角不等式,但是它的对偶 fD()f^{\mathbb{D}}(\cdot) 仍恒满足

fD(y+z)=max{x}1(y+z)rmax{x}1[yx+zx]maxf(x)=1yx+max(x)=1zx=fD(y)+fD(z).\begin{array}{l} f ^ {D} (y + z) = \max _ {\left\{x \right\} - 1} \mid (y + z) ^ {*} r \mid \leqslant \max _ {\left\{x \right\} - 1} \left[ \mid y ^ {*} x \mid + \mid z ^ {*} x \mid \right] \\ \leqslant \max _ {f (x) = 1} | y ^ {*} x | + \max _ {(x) = 1} | z ^ {*} x | = f ^ {D} (y) + f ^ {D} (z). \\ \end{array}

因此,一个准范数的对偶范数总是范数

这样,采用构造其对偶范数的方法,任一准范数可生成一个范数。这种构造法常常用于准范数实际上是范数的情形。

关于对偶范数的一个简单不等式在下面的引理中给出。我们将会看到,它是Cauchy-Schwarz不等式的自然推广。

5.4.13 引理 设 f()f(\cdot)VRn\mathbf{V} - \mathbf{R}^nCn\mathbf{C}^n 上的准范数,则

yxf(x)fi)(y),yxfD(x)f(y)\begin{array}{l} \mid y ^ {\prime} x \mid \leqslant f (x) f ^ {i)} (y), \\ \mid y ^ {*} x \mid \leqslant f ^ {D} (x) f (y) \\ \end{array}

对所有 x,yVx, y \in V 成立.

证明:如果 x0x \neq 0 ,则

yxf(x)maxn=1yzfp(y),\left| y ^ {\prime} \frac {x}{f (x)} \right| \leqslant \max _ {n = 1} | y ^ {*} z | - f ^ {p} (y),

因而 yxf(x)f(1)(y)|y^{\star}x| \leqslant f(x)f^{(1)}(y) ,由于这个不等式对 x=0x = 0 也成立,所以证明了第一个不等式。因为 yx=xy|y^{\star}x| = |x^{\star}y| ,第二个不等式可由第一个不等式得到。

要识别一些最常见的向量范数的对偶范数并不困难。如果 x,yCnx, y \in \mathbb{C}^n ,则Holder不等式的特殊情形是

yx=i=1nyˉixir=1nyˉiximax1i<n,pyij=1nxj=yx1.(5.4.14)\left| y ^ {*} x \right| = \left| \sum_ {i = 1} ^ {n} \bar {y} _ {i} x _ {i} \right| \leqslant \sum_ {r = 1} ^ {n} \left| \bar {y} _ {i} x _ {i} \right| \leqslant \max _ {1 \leqslant i < n, p} \left| y _ {i} \right| \sum_ {j = 1} ^ {n} \left| x _ {j} \right| = \| y \| _ {\infty} \| x \| _ {1}. \tag {5.4.14}

如果 yy 是给定的向量,又如果 xx 是(关于 1\| \cdot \|_{1} 的)单位向量,且对使 yi=y\mid y_i\mid = \mid y\mid_{\infty} 的某个 iixi=1x_{i} = 1 ,否则有 xi=0x_{i} = 0 ,那么(5.4.14)中的等式成立.同理,如果 xx 是给定的非零向量,又如果 yy 是(关于 \| \cdot \|_{\bullet} 的)单位向量,且对所有使 xi0x_{i}\neq 0iiyi=xi/xiy_{i} = x_{i} / |x_{i}| ,否则有 yi=0y_{i} = 0 ,则(5.4.4)中的等式成立.因此,

(y1)D=maxxi=1yx=maxxiy,xi1=y,(y..)D=maxx..=1yx=maxxxty1x2=yt.\begin{array}{l} \left(\| y \| _ {1}\right) ^ {D} = \max _ {\| x _ {i} \| = 1} | y \cdot x | = \max _ {\| x _ {i} \|} \| y \|, \| x _ {i} \| _ {1} = \| y \|, \\ \left(\| y \| _ {..}\right) ^ {D} = \max _ {\| x \| _ {..} = 1} | y ^ {\prime} x | = \max _ {x \mid x - t} \| y \| _ {1} \| x \| _ {2} = \| y \| _ {t}. \\ \end{array}

276\boxed{276} 由此得出 (1)D=(\| \cdot \|_{1})^{D} = \| \cdot \|()D=1(\| \cdot \|)^{D} = \| \cdot \|_{1}

如果考虑Euclid范数 2\| \cdot \| _2 ,给定的非零向量 yy 和任意向量 x\pmb{x} ,则Cauchy-Schwarz不等式是指,

yx=i=1nyˉixiy2x2,(5.4.15)\left| y ^ {\prime} x \right| = \left| \sum_ {i = 1} ^ {n} \bar {y} _ {i} x _ {i} \right| \leqslant \left\| y \right\| _ {2} \left\| x \right\| _ {2}, \tag {5.4.15}

且当 xyy2x - y \parallel y\|_{2} 时等式成立,运用上述关于 l1l_{1}ll 、范数的同样的论证,得知 (y2)D=y2(\| y \|_{2})^{D} = \| y \|_{2} ,所以 Euclid 范数是它自身的对偶范数。

练习 说明为什么(5.4.13)中的不等式是Cauchy-Schwarz不等式(5.1.4)的推广。

注意,对刚才讨论的三个范数 (l1,l2(l_{1}, l_{2}ll ) 中的每一个,其对偶范数的对偶是原范数。这不是偶然的巧合:对偶性定理(5.5.14)说明,这种情形总是成立的。

5.4.16 定理 设 \| \cdot \|V=RnV = \mathbb{R}^nCn\mathbf{C}^n 上的向量范数, D\| \cdot \|^{D} 是它的对偶范数,又设 c>0c > 0 是给定的,则 x=cxν\| x \| = c \| x \|^{\nu} 对所有 xVx \in V 成立当且仅当 =c2\| \cdot \| = \sqrt{c} \| \cdot \|_{2} 。特别是, =D\| \cdot \| = \| \cdot \|^{D} 当且仅当 \| \cdot \| 是 Euclid 范数 2\| \cdot \|_{2}

证明:如果 =c2\| \cdot \| = \sqrt{c} \| \cdot \|_2 ,且 xVx \in V ,则对任意 xVx \in V

xD=max11xy=maxy2=1/cxy=maxy2=1xyc\| x \| ^ {D} = \max _ {\sqrt {1 - 1}} | x ^ {*} y | = \max _ {\| y \| _ {2} = 1 / \sqrt {c}} | x ^ {*} y | = \max _ {\| y \| _ {2} = 1} | x ^ {*} \frac {y}{\sqrt {c}} |
=1cmaxx2=1xy=1cx2p=1cx2=1cx.= \frac {1}{\sqrt {c}} \max _ {\| x \| _ {2} = 1} | x ^ {\prime} y | = \frac {1}{\sqrt {c}} \| x \| _ {2} ^ {p} = \frac {1}{\sqrt {c}} \| x \| _ {2} = \frac {1}{c} \| x \|.

反之,如果 cv\| \cdot \|_{\mathfrak{c}}\| \cdot \|^{v} 对某个 c>0c > 0 成立,又 xVx\in V ,则(5.4.13)给出不等式

x2=xxxxp=1cx2,\| x \| _ {2} ^ {\prime \prime} = | x ^ {*} x | \leqslant \| x \| \| x \| ^ {p} = \frac {1}{c} \| x \| ^ {2},

所以 xcx2\| x\| \geqslant \sqrt{c}\| x\|_{2} ,如果 r0r\neq 0 ,可以利用这个不等式证明其反向不等式,因为

1cx=xD=maxy=1xy=maxy0xyy=maxy0xyy2y2ymaxv0xyy21c=xxx21c=x21c(277)\begin{array}{l} \frac {1}{c} \| x \| = \| x \| ^ {D} = \max _ {y = 1} | x ^ {*} y | = \max _ {y \neq 0} | x ^ {*} \frac {y}{\| y \|} | \\ = \max _ {y \neq 0} \left| x ^ {*} \frac {y}{\| y \| _ {2}} \right| \frac {\| y \| _ {2}}{\| y \|} \leqslant \max _ {v \neq 0} \left| x ^ {*} \frac {y}{\| y \| _ {2}} \right| \frac {1}{\sqrt {c}} \\ = x ^ {*} \frac {x}{\| x \| _ {2}} \frac {1}{\sqrt {c}} = \| x \| _ {2} \frac {1}{\sqrt {c}} \tag {277} \\ \end{array}

这里,用到了对所有 y0y \neq 0y2/y1/c\| y \|_2 / \| y \| \leqslant 1/\sqrt{c} 的事实:Cauchy-Schwarz 不等式保证,当一个Euclid单位向量平行于一个固定的非零向量时,这个给定的非零向量与这个单位向量之间的内积的极大值会出现,因此, xcx2\| x \| \leqslant \sqrt{c} \| x \|_2 对所有 xVx \in V 成立。它与已证的反向不等式一起证明, x=cx2\| x \| = \sqrt{c} \| x \|_2 对所有 xVx \in V 成立,当 c=1c = 1 时,最后的论断成立,并且说明Euclid范数是仅有的等于自己的对偶范数。

作为最后一个注释,我们要说明一种有用的观念,在这种观念下,一个向量与一个向量范数一样,也有一个对偶。

5.4.17 定义 设 xCnx \in \mathbf{C}^n 是给定的向量, \|\cdot\|Cn\mathbf{C}^n 上给定的范数。集合

{yCn:yDxyx=1}\{y \in \mathbf {C} ^ {n}: \| y \| ^ {D} \| x \| - y ^ {*} x = 1 \}

称为 xx 的关于 \| \cdot \| 的对偶。如果 yyxx 的关于范数 \| \cdot \| 的对偶中,则向量的有序对 (x,y)Cn×Cn(x, y) \in \mathbf{C}^n \times \mathbf{C}^n 就称为关于 \| \cdot \| 的对偶对。

由推论(5.5.15)可知,如果 \| \cdot \| 是向量范数,则每个向量 xCnx\in \mathbf{C}^n 关于 \| \cdot \| 的对偶是非空的。它可能由一个点或多个点组成。例如,如果 =2\| \cdot \| = \| \cdot \|_2 ,则每个向量 xCnx\in \mathbf{C}^n 的对偶是向量 xx 本身。另外,如果 =\| \cdot \| = \| \cdot \| ,则 x=[0,1]Tx = [0,1]^T 的对偶由…个向量组成,但 x=[1,1]Tx = [1,1]^T 的对偶包含无限多个向量。

习题

  1. 注意,(5.4.5)可等价地叙述为

Cm(α,β)xβxαCM(α,β)C _ {m} \left(\| \cdot \| _ {\alpha}, \| \cdot \| _ {\beta}\right) \leqslant \frac {\| x \| _ {\beta}}{\| x \| _ {\alpha}} \leqslant C _ {M} \left(\| \cdot \| _ {\alpha}, \| \cdot \| _ {\beta}\right)

其中 Cm(,)C_{m}(\cdot, \cdot)CM(,)C_{M}(\cdot, \cdot) 表示与(5.4.5)中的相应范数有关的可能达到的最佳常数。证明 Cm(β,α)=CM(α,β)1C_{m}(\| \cdot \|_{\beta}, \| \cdot \|_{\alpha}) = C_{M}(\| \cdot \|_{\alpha}, \| \cdot \|_{\beta})^{-1}

  1. Cm(α,β)C_m(\| \cdot \|_\alpha, \| \cdot \|_\beta)Cm(β,γ)C_m(\| \cdot \|_\beta, \| \cdot \|_\gamma) 表示 Cm(α,γ)C_m(\| \cdot \|_\alpha, \| \cdot \|_\gamma) ,其中,有关的常数不一定是可能达到的最佳值,对 CMC_M 做同样的表示。

278

  1. 验证右边附表给出了 L1,L2L_{1}, L_{2}LαL_{\alpha} 范数之间的最佳界 CM(α,β)\mathbf{C}_{M}(\| \cdot \|_{\alpha}, \| \cdot \|_{\beta}) ;即 xαCMxβ\| x \|_{\alpha} \leqslant C_{M} \| x \|_{\beta} 对所有 xCnx \in \mathbf{C}^{n}α,β=1,2,\alpha, \beta = 1, 2, \infty 成立。在每种情形,举出一个非零向量 xx 使得 xα=CMxβ\| x \|_{\alpha} = C_{M} \| x \|_{\beta} ,说明所给的界是可能达到的最佳界。关于最佳下界 xαCmxβ\| x \|_{\alpha} \geqslant C_{m} \| x \|_{\beta} 的表是什么?提示:参看习题1。

  1. 证明,如果实或复向量空间上的两个范数是等价的,则它们的关系可以用像(5.4.5)中那样的两个常数及一个不等式联系起来。提示:考虑在 β\| \cdot \|_{\beta} 的单位球 SS 上的 f(x)=1/xnf(x) = 1 / \| x\|_{n} ,如果 ffSS 上无界,则存在序列 {xN}S\{x_{N}\} \subset S ,且适合 xNa<1N\| x_N\|_a < \frac{1}{N}xN91\| x_N\|_9 \equiv 1 ,这与 α\| \cdot \|_{\alpha}β\| \cdot \|_{\beta} 的等价性相矛盾。注意,这与有限维性及紧性没有任何关系。

  2. 证明,(5.4.2)中的函数 fkf_{k} 有性质:当 kk \to \infty 时,对每个 xxf(x)0f(x) \to 0 ;当 kk \to \infty 时, fkfj10\| f_{k} - f_{j} \|_{1} \to 0 ;而对每个 k2k \geqslant 2 ,存在某个 J>kJ > k 使得对所有 j>Jj > J 都有 fkfj1>k2\| f_{k} - f_{j} \|_{1} > k^{2} 。因此,一个序列在某种意义下可能对一种范数是(逐点)收敛的 Cauchy 序列,而对另一种范数则不是 Cauchy 序列。

  3. VV 是完备的实或复向量空间,设 {x(k)}\{x^{(k)}\}VV 中给定的序列, \| \cdot \|VV 上给定的范数。如果存在 M0M \geqslant 0 ,使得 k=1nx(k)M\sum_{k=1}^{n} \| x^{(k)} \| \leqslant M 对所有 n=1,2,n=1,2,\cdots 成立,证明用 y(n)=k=1nx(k)y^{(n)} = \sum_{k=1}^{n} x^{(k)} 定义的部分和序列收敛于 VV 的一个点。这推广了关于实数的无穷级数的收敛性的什么定理?

  4. 证明对每个 xCnx \in \mathbb{C}^nx=limp1xp\| x \| = \lim_{p \to 1} \| x \|_p .

  5. 如果 α>0\alpha > 0α=α\| \cdot \|_{\alpha} = \alpha \| \cdot \| ,证明 (α)D=(1/α)D(\| \cdot \|_{\alpha})^{D} = (1 / \alpha) \| \cdot \|^{D} .

  6. 证明,对任意 p1p \geqslant 1lpl_p 范数的对偶范数是 lql_q 范数,这里, qq 是由关系 1/p+1/q=11/p + 1/q = 1 定义的。提示:用 Hölder 不等式的一般形式代替(5.4.14)。

  7. α\| \cdot \|_{\alpha}β\| \cdot \|_{\beta}Cn\mathbf{C}^{n} 上两个给定的范数,并且假定存在某个 C>0C > 0 使得 xαCxβ\| x \|_{\alpha} \leqslant C \| x \|_{\beta} 对所有 xCnx \in \mathbf{C}^{n} 成立。证明 xβDCxαD\| x \|_{\beta}^{D} \leqslant C \| x \|_{\alpha}^{D} 对所有 xCnx \in \mathbf{C}^{n} 成立。提示:

[279]

xaD=maxya=1yx=maxy0yxyamaxy0yxxαmaxy0yxCyβ=1Cmaxyβ=1yx.\begin{array}{l} \| x \| _ {a} ^ {D} = \max _ {| y _ {a} | = 1} | y ^ {\prime} x | = \max _ {y ^ {\prime} \neq 0} \left| \frac {y ^ {\prime} x}{| y | \| _ {a}} \right| \\ - \max _ {y \neq 0} \frac {y ^ {*} x}{\| x \| _ {\alpha}} \geqslant \max _ {y \neq 0} \frac {| y ^ {*} x |}{C \| y \| _ {\beta}} = \frac {1}{C} \max _ {\| y \| _ {\beta} = 1} | y ^ {*} x |. \\ \end{array}
  1. 证明, p\|\cdot\|^p 的等距变换群总包含 \|\cdot\| 的所有等距变换的伴随组成的集合。由此推出, p\|\cdot\|^p 的等距变换群恰好是由 \|\cdot\| 的等距变换的伴随组成的集合。什么时候 \|\cdot\|p\|\cdot\|^p 的等距变换是一样的?

  2. \|\cdot\|Cn\mathbf{C}^{n} 上的向量范数,且设 TMnT \in M_{n} ,证明,如果 TT 是关于 \|\cdot\| 的等距变换,则 Tpp\|\cdot\|_{T}^{p} - \|\cdot\|^{p} .

  3. \|\cdot\|Cn\mathbf{C}^{n} 上一个给定的范数。(a)说明零向量关于 \|\cdot\| 的对偶总是 {0}\{0\} 。(b)试用推论(5.5.15)证明,每个 xCnx \in \mathbf{C}^{n} 的对偶是非空集合。提示:如果 y0D=1\|y_{0}\|^{D}=1y0x=xy_{0}^{*}x=\|x\| ,确定 c0c \geqslant 0 使 y0<y0y_{0} < y_{0}xx 的对偶中。(c)设 \|\cdot\| 是 Euclid 范数 2\|\cdot\|_{2} ,证明每个 xCnx \in \mathbf{C}^{n} 的对偶是

{x}\{x\} .(d)设 =\| \cdot \| = \| \cdot \| ,证明 x=[01]x = \left[ \begin{array}{l}0\\ 1 \end{array} \right] 的对偶是 xxx=[11]x = \left[ \begin{array}{l}1\\ 1 \end{array} \right] 的对偶是从 [02]\left[ \begin{array}{l}0\\ 2 \end{array} \right][22]\left[ \begin{array}{l}2\\ 2 \end{array} \right] 再到 [20]\left[ \begin{array}{l}2\\ 0 \end{array} \right] 的两条线段.(e)设 =1\| \cdot \| = \| \cdot \|_{1} ,证明, x=[22]x = \left[ \begin{array}{l}2\\ 2 \end{array} \right] 的对偶是 [11]\left[ \begin{array}{l}1\\ 1 \end{array} \right] ,而 x=[01]x = \left[ \begin{array}{l}0\\ 1 \end{array} \right] 的对偶是从 [11]-\left[ \begin{array}{l}-1\\ 1 \end{array} \right][01]\left[ \begin{array}{l}0\\ 1 \end{array} \right] 再到一 [11]\left[ \begin{array}{l}1\\ 1 \end{array} \right] 的两条线段.(f)证明, yyxx 的关于 \| \cdot \| 的对偶中当且仅当 xxyy 的关于 p\| \cdot \| ^{\mathfrak{p}} 的对偶中.(g)证明,对每个 xCnx\in \mathbf{C}^nxx 关于 \| \cdot \| 的对偶是 {x}\{x\} ,当且仅当 2\| \cdot \| _2

  1. 考虑由 f(x)=x1x21/2f(x) = |x_1 x_2|^{1/2} 给出的函数 f:R2Rf: \mathbf{R}^2 \to \mathbf{R} . 证明集合 {x:f(x)=1}\{x: f(x) = 1\} 是非紧的. 这与(5.4.8)矛盾吗?

  2. 考虑正文中给出的 R2\mathbf{R}^2 上的一个准范数 f(x)=(x0,x1)1/2f(x) = (|x|_0, |x|_1)^{-1/2} 的例子,其中

a=10ˉx1,x27x1=[x1,10r2]7\begin{array}{l} \left\| \cdot \right\| _ {a} = \left\| \bar {1 0} x _ {1}, x _ {2} \right\| ^ {7} \\ \| x \| _ {1} = \left\| \left[ x _ {1}, 1 0 r _ {2} \right] ^ {7} \right\| \\ \end{array}

证明,“单位球” {xRn:f(x)1}\{x\in \mathbb{R}^n:f(x)\leqslant 1\} 在第一象限内的部分以线段 x2=1/10x_{2} = 1 / \sqrt{10} ,线段 x1=1/10x_{1} = 1 / \sqrt{10} 和一段双曲线弧 x1x2=1100x_{1}x_{2} = \frac{1}{100} 为边界,试画出这个集合的草图并且证明它不是凸集.为什么该“单位球"在其余三个象限中的余下部分可以通过这个集合依次对各坐标轴的反射来得到?证明,对偶范数的单位球 {xR2:fD(x)1}\{x\in \mathbb{R}^2:f^{\mathrm{D}}(x)\leqslant 1\} 在第一象限以线段 x1/10+x2=10x_{1} / 10 + x_{2} = \sqrt{10} 和线段 x1+x2/10=10x_{1} + x_{2} / 10 = \sqrt{10} 为边界,而 fDf^{\mathrm{D}} 的整个单位球可以通过它在第一象限的部分依次进行反射得到,并且它是凸集.证明, f(n)f^{(n)} 的单位球在第一象限内的部分以线段 x2=1/10x_{2} = 1 / \sqrt{10} ,线段 x3=1/10x_{3} = 1 / \sqrt{10} 和线段 x1+x211x_{1} + x_{2} - 11101010\sqrt{10} )为边界.该单位球的余下部分可以通过这个集合依次对各坐标轴的反射来得到,且它是凸集.最后把 f(n)f^{(n)} 的单位球与 ff 的单位球作比较,证明前者正好是后者的闭凸包.

  1. \|\cdot\|V=RnV = \mathbb{R}^nCn\mathbf{C}^n 上的向量范数。证明

maxr0x1Dx=max1,11max1(xx2)(yy1)x2y2[maxr=1x22]2CM\begin{array}{l} \max _ {\| r \| \neq 0} \frac {\| x \| _ {1} ^ {D}}{\| x \|} = \max _ {1, 1 - 1} \max _ {1} \left(\frac {x}{\| x \| _ {2}}\right) ^ {*} \left(\frac {y}{\| y \| _ {1}}\right) \| x \| _ {2} \| y \| _ {2} \\ \leqslant \left[ \max _ {r = 1} \| x \| _ {2} ^ {2} \right] ^ {2} \equiv C _ {M} \\ \end{array}

1

minr0x4x[minx=1x2]2=Cm\min _ {r \neq 0} \frac {\| x \| ^ {4}}{\| x \|} \geqslant \left[ \min _ {| x | = 1} \| x \| _ {2} \right] ^ {2} = C _ {m}

证明 CmxxβCMxC_{m}\| x\| \leqslant \| x\|^{\beta} \leqslant C_{M}\| x\| 对所有 xVx \in V 成立,所以,几何常数给出每个范数与其对偶范数之间的这两个界.

  1. f()f(\cdot)Rn\mathbf{R}^nCn\mathbf{C}^n 上的准范数,证明

fT(y)=max(r,t)Reyrmax(r,t)yr=maxx0Reyxf(x)=maxr0yxf(x)(5.4.18)\begin{array}{l} f ^ {T} (y) = \max _ {(r, t)} \operatorname {R e} y ^ {*} r - \max _ {(r, t)} | y ^ {*} r | \\ = \max _ {x \neq 0} \frac {\operatorname {R e} y ^ {*} x}{f (x)} = \max _ {r \neq 0} \frac {| y ^ {*} x |}{f (x)} \tag {5.4.18} \\ \end{array}

关于这种想法的另一个例子可参看(5.6.1)下面的练习.

进一步阅读 关于各种对偶范数的讨论见[Hou 64]. 一个准范数的对偶是一个范数的思想似乎应属于 J. Von Neumann, 他在下述文章中讨论了度规函数 (我们称之为向量范数): “Some Matrix-Inequalities and Mctrization of Matric-Space,” Tomsk Univ. Rev. 1 (1937),

205-218. 这篇文章更容易从下述 Von Neumann 的著作中找到: Collected Works, vol. 4, ed. A. H. Taub, Macmillian, New York, 1962.