5.1_向量范数和内积的定义性质

5.1 向量范数和内积的定义性质

我们先考虑向量空间上的范数。由于 MnM_{n} 是向量空间,要做的一切也将适用于矩阵范数。

一个函数如果是范数,它需要具备哪些性质。为了说明这个问题,对熟知的(实或复)纯量的绝对值概念进行抽象。当然,一个值得注意的差别是,绝对值函数是实变量或复变量的实值函数,而我们要求范数是描述一个向量的多元实值函数。 Cn\mathbf{C}^n 上的这样一个函数是Euclid长度 (zz)1/2(z^{*}z)^{1/2} ,但是还有另一些函数也具有Euclid长度的某些基本性质,并且在某些场合可能是更为合适的度量,它们可能提供另外的信息,或者在某些内容中使用起来可能更为方便。

在整个这一章中,只考虑实或复向量空间.所有的主要结果对这两个域都成立,不过在每一个结果中,它必须与所采用的那个域相一致.我们常用域 F\mathbf{F} (一开始就视 F=R\mathbf{F} = \mathbf{R}C\mathbf{C} )叙述各个结果,之后,在余下的论述中涉及的是同一个域 F\mathbf{F}

5.1.1 定义 设 VV 是域 F(R\mathbf{F}(\mathbf{R}C)\mathbf{C}) 上的向量空间。函数 :VR\|\cdot\|: V \to \mathbb{R} 称为向量范数,是指对所有 x,yVx, y \in V 有以下性质:

(1) x0\| x \| \geqslant 0 , 非负性;
(1a) x=0\| x \| = 0 当且仅当 x=0x = 0 , 正定性;
(2) cx=cx\| c x \| = |c| \| x \| 对所有纯量 cFc \in \mathbf{F} 成立,齐次性;
(3) x+yx+y\| x + y \| \leqslant \| x \| + \| y \| , 三角不等式.

这四条公理是大家所熟悉的平面上的Euclid长度的几个性质.Euclid长度还具有另外一些性质,这些性质与这四条公理是独立无关的[例如,平行四边形恒等式(5.1.8)],因为它们对于一般的理论并不是必不可少的,所以没有把它作为公理.

一个函数如果满足公理(1),(2),(3)但不一定满足(1a),就称之为向量半范数。半范数在允许某些非零向量有零长度方面推广了范数概念。

5.1.2 引理 如果 \| \cdot \|VV 上的向量半范数,则

xyxy\left| \left| x \right| \right| - \left| y \right| \left| \leqslant \left| x - y \right| \right.

对所有 x,yVx, y \in V 成立.

证明:因为 y=x+(yx)y = x + (y - x) ,由三角不等式和齐次性公理(2),有

yx+yx=x+xy.\| y \| \leqslant \| x \| + \| y - x \| = \| x \| + \| x - y \|.

由此可知

yxxy.\left\| y \right\| - \left\| x \right\| \leqslant \left\| x - y \right\|.

又因为 x=y+(xy)x = y + (x - y) ,所以再由三角不等式有

xy+xy,\| x \| \leqslant \| y \| + \| x - y \|,

因而

xyxy.\| x \| - \| y \| \leqslant \| x - y \|.

因此我们证明了 ±(xy)xy\pm (\| x \| - \| y \|) \leqslant \| x - y \| ,它等价于引理的论断。

Cn\mathbf{C}^n 上Euclid长度相关的概念是通常的Euclid内积 yxy^{*}x (有时叫做“点积”),它有一些性质与两个向量间的“夹角”有关:如果 yx=0y^{*}x = 0 ,那么 xxyy 正交.正象对向量范数所做的那样,可以抽象出Euclid内积的几个本质特征,并且用它们作为一般内积理论的公理.

5.1.3 定义 设 VV 是域 F(R\mathbf{F}(\mathbf{R}C)\mathbf{C}) 上的向量空间,函数 ,:V×VF\langle \cdot, \cdot \rangle: V \times V \to \mathbf{F} 是一个内积,是指对所有 x,y,zVx, y, z \in V ,有

(1) x,x0\langle x, x \rangle \geqslant 0 非负性;
(1a) x,x=0\langle x, x \rangle = 0 当且仅当 x=0x = 0 , 正定性;
(2) x+y,z=x,z+y,z,\langle x + y, z \rangle = \langle x, z \rangle + \langle y, z \rangle, 可加性;
(3) cx,y=cx,y\langle c x, y \rangle = c \langle x, y \rangle 对所有纯量 cFc \in \mathbf{F} 成立,齐次性;
(4) x,y=yx\langle x, y \rangle = \langle \overline{y \cdot x} \rangle , Hermite 性.

练习 证明 Euclid 内积 x,y=yx\langle x, y \rangle = y^*x ;满足关于内积的所有上述四个公理。

练习 设 D=diag(d1,d2,,dn)D = \mathrm{diag}(d_1, d_2, \dots, d_n) ,考虑函数 (x,y)yDx(x, y) \equiv y^{\star} D x,\langle \cdot, \cdot \rangle 满足关于内积的哪几条公理? DD 在什么条件下 ,\langle \cdot, \cdot \rangle 才是内积?

练习 由定义(5.1.3)的四条公理推导内积的下述性质:

(a) x,cy=cˉx,y\langle x, cy \rangle = \bar{c} \langle x, y \rangle ;
(b) x,y+z=x,y+x,z\langle x, y + z \rangle = \langle x, y \rangle + \langle x, z \rangle ;
(c) ax+by,cw+dz=acˉx,w+bcˉy,w+daˉdx,z+bdy,z\langle ax + by, cw + dz \rangle = a\bar{c} \langle x, w \rangle + b\bar{c} \langle y, w \rangle + d\bar{a} d \langle x, z \rangle + bd \langle y, z \rangle
(d) x,y=0\langle x, y \rangle = 0 对所有 yVy \in V 成立,当且仅当 x=0x = 0
(e) x,x,yy=x,y2\langle x, \langle x, y \rangle y \rangle = | \langle x, y \rangle|^2 .

所有内积都共有的重要性质是Cauchy-Schwarz不等式.

5.1.4 定理 (Cauchy-Schwarz 不等式) 如果 ,\langle \cdot, \cdot \rangle 是域 F(R\mathbf{F}(\mathbf{R}C\mathbf{C} ) 上的向量空间 VV 上的内积, 则

x,y2x,xy,y\left| \langle x, y \rangle \right| ^ {2} \leqslant \langle x, x \rangle \langle y, y \rangle

对所有 x,yFx, y \in \mathbb{F} 成立。等式成立当且仅当 xxyy 线性相关,即对某个 aFa \in \mathbb{F}x=ayx = ayy=axy = ax .

证明:设 x,yVx, y \in V 是给定的。如果 y=0y = 0 ,则结论显然成立,所以可以假定 y0y \neq 0 。设 tRt \in \mathbb{R} ,考虑 p(t)x+ty,x+ty=x,x+ty,x+tx,y+t2y,y=x,x+2tRex,y+t2y,yp(t) \equiv \langle x + ty, x + ty \rangle = \langle x, x \rangle + t\langle y, x \rangle + t\langle x, y \rangle + t^2\langle y, y \rangle = \langle x, x \rangle + 2t\operatorname{Re}\langle x, y \rangle + t^2\langle y, y \rangle ,它是实系数二次多项式。由公理(5.1.3(1))得知,对所有实数 ttp(t)0p(t) \geq 0 ,因而 p(t)p(t) 不能有实的单根。因此, p(t)p(t) 的判别式一定是非正的,即

(2Rex,y)24y,yx,x0,(2 \operatorname {R e} \langle x, y \rangle) ^ {2} - 4 \langle y, y \rangle \langle x, x \rangle \leqslant 0,

因而

(Rex,y)2x,xy,y.(5.1.5)\left(\operatorname {R e} \langle x, y \rangle\right) ^ {2} \leqslant \langle x, x \rangle \langle y, y \rangle . \tag {5.1.5}

因为这个不等式对任一对向量都成立,所以当用 x,yy\langle x, y \rangle y 代替 yy 时它也一定成立。于是还有不等式

(Rex,x,yy)2x,xy,yx,y2.\left(\operatorname {R e} \langle x, \langle x, y \rangle y \rangle\right) ^ {2} \leqslant \langle x, x \rangle \langle y, y \rangle | \langle x, y \rangle | ^ {2}.

但是, Rex,x,yy=Rex,yx,y=Rex,y2=x,y2\operatorname{Re}\langle x, \langle x, y \rangle y \rangle = \operatorname{Re}\langle \overline{x}, \overline{y} \rangle \langle x, y \rangle = \operatorname{Re}|\langle x, y \rangle|^2 = |\langle x, y \rangle|^2 ,因此

x,y2x,xy,yx,y2.(5.1.6)\left| \langle x, y \rangle \right| ^ {2} \leqslant \langle x, x \rangle \langle y, y \rangle \cdot \langle x, y \rangle | ^ {2}. \tag {5.1.6}

如果 (x,y)=0(x, y) = 0 ,则定理的结论是显然的;否则可以用数 x,y2|x, y|^2 除(5.1.6)两边得到所要证的不等式。因为公理(1a),所以仅当 x+ty=0x + ty = 0 对某个 tt 成立时 p(t)p(t) 才有一个实(二重)根。因此,在判别条件(5.1.5)中等式能够成立,当且仅当 xxyy 线性相关。

5.1.7 推论 如果 ,\langle \cdot, \cdot \rangleVV 上的向量内积,则 x(x,x)1/2\| x \| \equiv (\langle x, x \rangle)^{1/2}VV 上的向量范数。

练习 证明(5.1.7). 提示: 只有一角不等式的验证不明显. 计算 x+y2\left\| x + y \right\|^2 , 然后利用 Cauchy-Schwarz 不等式.

如果 \| \cdot \| 是适合 x=x,x1/2\| x \| = \langle x, x \rangle^{1/2} 的向量范数,其中 ,\langle \cdot, \cdot \rangle 为某个内积,就称该向量范数可由内积(即 ,\langle \cdot, \cdot \rangle )诱导。

习题

  1. ϵi\epsilon_{i} 表示 Cn\mathbf{C}^{n} 中的第 ii 个单位坐标向量且假定 \|\cdot\|Cn\mathbf{C}^{n} 上的一个向量半范数,证明

xi=1nxiei.\| x \| \leqslant \sum_ {i = 1} ^ {n} | x _ {i} | \| e _ {i} |.
  1. 如果 \| \cdot \|VV 上的一个向量半范数,证明 Vn={vV:v=0}V_{\mathrm{n}} = \{v \in V: \| v \| = 0\}VV 的一个子空间(称为关于 \| \cdot \| 的零空间).(a) 如果 V1V_{1}VV 的适合 VnV1={0}V_{\mathrm{n}} \cap V_{1} = \{0\} 的任一子空间,证明 \| \cdot \|V1V_{1} 的一个向量范数.(b) 考虑用

xy当 且 仅 当xy=0x \sim y \text {当 且 仅 当} \| x - y \| = 0

定义的关系 xyx \sim y 。证明, \simVV 上的一个等价关系,而这个等价关系的诸陪集具有形式 x^={x+yV:yV0}\hat{x} = \{x + y \in V : y \in V_0\} ,并且这些陪集的集合以一种自然的方式构成一个向量空间。证明,函数 x^={x:xx^}\| \hat{x} \| = \{\| x \| : x \in \hat{x}\} 是有意义的,并且是诸陪集组成的向量空间上的一个向量范数。(c)说明与每个向量半范数有关的自然范数为什么存在。(d) x=0\| x \| = 0 是半范数吗?(e)给出一个不是范数的非平凡半范数的例子。

  1. 证明,如果定义两个非零向量间的夹角是介于0与 π/2\pi /2 之间的值

cos1(x,y(x,ry,y)1/2),\cos^ {- 1} \left(\frac {| \langle x , y \rangle |}{(\langle x , r \rangle \langle y , y \rangle) ^ {1 / 2}}\right),

则这个夹角概念对任何内积都是有意义的.

  1. 证明,如(5.1.7)中由内积诱导的向量范数一定满足平行四边形恒等式

12(x+y2+xy2)=x2+y2.(5.1.8)\frac {1}{2} \left(\| x + y \| ^ {2} + \| x - y \| ^ {2}\right) = \| x \| ^ {2} + \| y \| ^ {2}. \tag {5.1.8}

为什么这个恒等式得此名称?事实上,等式(5.1.8)是一个给定的范数可由内积诱导的必要充分条件。见习题10。

  1. 考虑定义在 Cn\mathbf{C}^n 上的函数 x=max1i,jnxi\| x\|_{\infty} = \max_{1\leq i,j\leq n}|x_i| 。证明 \| \cdot \|_{\infty} 是不能由任何内积导出的向量范数。

  2. 如果 \|\cdot\| 是由内积 (,)(\cdot, \cdot) 诱导的向量范数,证明

Rex,y=14(x+y2xy2).(5.1.9)\operatorname {R e} \langle x, y \rangle = \frac {1}{4} (\| x + y \| ^ {2} - \| x - y \| ^ {2}). \tag {5.1.9}

称这个等式为极化恒等式,同时证明

Rex,y=12(x+y2x2y2).\operatorname {R e} \langle x, y \rangle = \frac {1}{2} (\| x + y \| ^ {2} \| x \| ^ {2} \| y \| ^ {2}).
  1. 证明, Cn\mathbf{C}^n 上的 l1l_1 范数 xx1++xn\| x \| \equiv |x_1| + \dots + |x_n| 适合公理(5.1.1),但不适合极化等恒式(5.1.9). 因此,它不是由任何内积导出的.

  2. 如果 \| \cdot \| 是由一个内积诱导的 VV 上的向量范数,则

x+yxyx2+y2\left| x + y \right| \| x - y \| \leqslant \left| x \right| ^ {2} + \left| y \right| ^ {2}

对所有 x,yVx, y \in V 成立. 什么时候等式成立? 这个不等式对所有向量范数都成立吗? 给出这个不等式的几何解释.

  1. xxyyVV 中给定的向量, VV 有一个由内积 ,\langle \cdot, \cdot \rangle 诱导的范数 \| \cdot \| ,并且假定 yy 是非零的。证明,使 xαy\| x - \alpha y \| 的值达到极小的纯量 α0\alpha_{0}α0=x,y/y2\alpha_{0} = \langle x, y \rangle / \| y \|^{2} ,并且 xα0yx - \alpha_{0} yyy 正交。

  2. 不难证明(但也有一些技巧),平行四边形恒等式(5.1.8)是一个给定的范数可由内积诱导的充分条件。首先考虑 R\mathbb{R} 上的一个向量空间。设 \|\cdot\|VV 上一个给定的范数。(a)定义

x,y=x+y2x2y22.(5.1.10)\langle x, y \rangle = \frac {\| x + y \| ^ {2} \quad \| x \| ^ {2} - \| y \| ^ {2}}{2}. \tag {5.1.10}

证明,用这种方法定义的 ,\langle \cdot, \cdot \rangle 满足(5.1.3)中的公理(1),(1a)和(4),且 x,x=x2\langle x, x \rangle = \| x \|^2 。(b)利用(5.1.8)证明

4x,y+4z,y=2x+y2+2zy22x22z24y2=x+2y+z2x+z24y2=4x+z,y,\begin{array}{l} 4 \langle x, y \rangle + 4 \langle z, y \rangle = 2 \| x + y \| ^ {2} + 2 \| z \cdot y \| ^ {2} \quad 2 \| x \| ^ {2} - 2 \| z \| ^ {2} - 4 \| y \| ^ {2} \\ = \| x + 2 y + z \| ^ {2} - \| x + z \| ^ {2} - 4 \| y \| ^ {2} = 4 \langle x + z, y \rangle , \\ \end{array}

由此得出,它也满足(5.1.3)中的可加性公理(2). (c)利用可加性公理证明, nx,y=nx,y\langle nx, y \rangle = n \langle x, y \ranglemm1nx,y=nx,y=nx,ym \langle m^{-1}nx, y \rangle = \langle nx, y \rangle = n \langle x, y \rangle ,其中 mmnn 是非负整数.利用(5.1.8)以及(5.1.10)证明 x,y=x,y\langle -x, y \rangle = -\langle x, y \rangle ,由此得出 at,y=ax,y\langle a_{t}, y \rangle = a \langle x, y \rangle ,其中 aRa \in \mathbb{R} 是有理数.(d)设 p(t)=t2x2+2tx,y+y2p(t) = t^2 \| x \|^2 + 2t \langle x, y \rangle + \| y \|^2tRt \in \mathbb{R} ,然后证明,若 tt 为有理数,则 p(t)=tx+y2p(t) = \| tx + y \|^2 ,由 p(t)p(t) 的连续性推出,对所有 tRt \in \mathbb{R}p(t)0p(t) \geqslant 0 。根据 p(t)p(t) 的判别式一定是非正的事实推出 Cauchy-Schwarz 不等式 x,y2x2y2|\langle x, y \rangle|^2 \leqslant \| x \|^2 \| y \|^2 。(e)现在设 aRa \in \mathbb{R} 是给定的,证明

ax,yax,y(ab)x,y+(ba)x,y(ab)x,y+(ba)x,y2abxy\begin{array}{l} \left| \langle a x, y \rangle - a \langle x, y \rangle \right| - \left| \langle (a - b) x, y \rangle + (b - a) \langle x, y \rangle \right| \\ \leqslant | \langle (a - b) x, y \rangle | + | (b - a) \langle x, y \rangle | \leqslant 2 | a - b | \| x \| \| y \| \\ \end{array}

对任何有理数 bb 成立,并且可以使上界任意地小。由此得出(5.1.10)满足(5.1.3)中的齐次性公理(3)。这就证明了 ,\langle \cdot, \cdot \rangleVV 上的一个内积。

细心的读者会注意到,在上述论证中关于范数 \|\cdot\| 的三角不等式[(5.1.1)中的公理(3)]没有用到。因此,(5.1.1)中的公理(1),(1a)和(2)连同(5.1.8)蕴涵以下事实:函数 \|\cdot\| 是由内

积诱导的,因而它是-个范数,并且一定满足三角不等式.(f)若 V\pmb{V} 是一个复向量空间,定义

x,y=x+y2x2y22+i(x+iy2x2y2)2.\langle x, y \rangle = \frac {\| x + y \| ^ {2} - \| x \| ^ {2} - \| y \| ^ {2}}{2} + \frac {i (\| x + i y \| ^ {2} - \| x \| ^ {2} - \| y \| ^ {2})}{2}.

x,y\langle x, y \rangle 的实部是 VV 看作 R\mathbb{R} 上一个向量空间时的内积。利用这一事实和(5.1.8)证明 ,\langle \cdot, \cdot \rangleVV 看作 C\mathbf{C} 上一个向量空间时的内积。

进一步阅读 平行四边形恒等式是一个给定的范数可由内积诱导的必要充分条件,这个结果的最早证明似乎应该属于P. Jordan和J. Von Neumann,他们的文章是"On Inner Products in Linear Metric Spaces,"Ann. Math. 36(2)(1935),719-723.习题10中所给出的这个结果的证明参考了下述文章:D.Fearnley-Sander and J.S.V.Symons,“Apollonius and Inner Products,"Amer.Math.Monthly81(1974),990-993.