1.1_线性空间与内积空间

1.1 线性空间与内积空间

1.1.1 线性空间

线性空间是线性代数最基本的概念之一, 它是定义在某个数域上并满足一定条件的集合. 我们首先给出数域的概念.

定义1.1 (数域) 设 F\mathbb{F} 是包含0和1的一个数集, 如果 F\mathbb{F} 中的任意两个数的和, 差, 积, 商 (除数不为0) 仍然在 F\mathbb{F} 中, 则称 F\mathbb{F} 为一个数域.

例1.1 常见的数域有: 有理数域 Q\mathbb{Q} , 实数域 R\mathbb{R} 和复数域 C\mathbb{C} .

本讲义只考虑实数域 R\mathbb{R} 和复数域 C\mathbb{C} .

定义1.2 (线性空间) 设 S\mathbb{S} 是一个非空集合, F\mathbb{F} 是一个数域 ( C\mathbb{C} 或 R\mathbb{R} ). 在 S\mathbb{S} 上定义一种代数运算,称为加法, 记为 “+” (即对任意 x,y∈Sx, y \in \mathbb{S} , 都存在唯一的 z∈Sz \in \mathbb{S} , 使得 z=x+yz = x + y ), 并定义一个从 F×S\mathbb{F} \times \mathbb{S} 到 S\mathbb{S} 的代数运算, 称为数乘, 记为 “ ⋅\cdot ” (即对任意 α∈F\alpha \in \mathbb{F} 和任意 x∈Sx \in \mathbb{S} , 都存在唯一的 y∈Sy \in \mathbb{S} ,使得 y=α⋅xy = \alpha \cdot x ). 如果这两个运算满足下面的规则, 则称 (S,+,⋅)(\mathbb{S}, +, \cdot) 是数域 F\mathbb{F} 上的一个线性空间 (通常简称 S\mathbb{S} 是数域 F\mathbb{F} 上的一个线性空间):

  • 加法四条规则

(1) 交换律: x+y=y+xx + y = y + x , ∀x,y∈S\forall x, y \in \mathbb{S} ;
(2) 结合律: (x+y)+z=x+(y+z),∀x,y,z∈S(x + y) + z = x + (y + z), \quad \forall x, y, z \in \mathbb{S} ;
(3) 零元素: 存在一个元素 0, 使得 x+0=xx + 0 = x , ∀x∈S\forall x \in \mathbb{S} ;
(4) 逆运算: 对任意 x∈Sx \in \mathbb{S} , 都存在负元素 y∈Sy \in \mathbb{S} , 使得 x+y=0x + y = 0 , 记 y=−xy = -x ;

  • 数乘四条规则

(1) 单位元: 1⋅x=x1 \cdot x = x , 1∈F,∀x∈S1 \in \mathbb{F}, \forall x \in \mathbb{S} ;
(2) 结合律: α⋅(β⋅x)=(αβ)⋅x,∀α,β∈F,x∈S\alpha \cdot (\beta \cdot x) = (\alpha \beta) \cdot x, \quad \forall \alpha, \beta \in \mathbb{F}, x \in \mathbb{S} ;

(3) 分配律: (α+β)⋅x=α⋅x+β⋅x,∀α,β∈F,x∈S(\alpha + \beta) \cdot x = \alpha \cdot x + \beta \cdot x, \quad \forall \alpha, \beta \in \mathbb{F}, x \in \mathbb{S} ;
(4) 分配律: α⋅(x+y)=α⋅x+α⋅y,∀α∈F,x,y∈S\alpha \cdot (x + y) = \alpha \cdot x + \alpha \cdot y, \quad \forall \alpha \in \mathbb{F}, x, y \in \mathbb{S} .

为了表示方便, 通常省略数乘符号, 即将 α⋅x\alpha \cdot x 写成 αx\alpha x .

例 1.2 常见的线性空间:

  • Rn→\mathbb{R}^n \to 所有 nn 维实向量组成的集合, 是 R\mathbb{R} 上的线性空间.
    ∙Cn→\bullet \mathbb{C}^n\to 所有 nn 维复向量组成的集合,是 C\mathbb{C} 上的线性空间

  • Rm×n→\mathbb{R}^{m \times n} \to 所有 m×nm \times n 阶实矩阵组成的集合, 是 R\mathbb{R} 上的线性空间.
    ∙Cm×n→\bullet \mathbb{C}^{m\times n}\to 所有 m×nm\times n 阶复矩阵组成的集合,是 C\mathbb{C} 上的线性空间.

  • Pn→\mathbb{P}_n\to 所有次数不超过 nn 的多项式组成的集合

  • C[a,b]→C[a, b] \to 区间 [a,b][a, b] 上所有连续函数组成的集合.

  • Cp[a,b]→C^p [a,b]\to 区间 [a,b][a,b] 上所有 pp 次连续可微函数组成的集合.

为了表述方便, 线性空间的元素通常称为向量.

线性相关性和维数

设 S\mathbb{S} 是数域 F\mathbb{F} 上的一个线性空间, x1,x2,…,xkx_{1}, x_{2}, \ldots, x_{k} 是 S\mathbb{S} 中的一组向量. 如果存在 kk 个不全为零的数 α1,α2,…,αk∈F\alpha_{1}, \alpha_{2}, \ldots, \alpha_{k} \in \mathbb{F} , 使得

α1x1+α2x2+⋯+αkxk=0,\alpha_ {1} x _ {1} + \alpha_ {2} x _ {2} + \dots + \alpha_ {k} x _ {k} = 0,

则称 x1,x2,…,xkx_{1}, x_{2}, \ldots, x_{k} 线性相关，否则就是线性无关

设 x1,x2,…,xkx_{1}, x_{2}, \ldots, x_{k} 是 S\mathbb{S} 中的一组向量. 如果 x∈Sx \in \mathbb{S} 可以表示为

x=α1x1+α2x2+⋯+αkxk,x = \alpha_ {1} x _ {1} + \alpha_ {2} x _ {2} + \dots + \alpha_ {k} x _ {k},

其中 α1,α2,…,αk∈F\alpha_{1},\alpha_{2},\ldots ,\alpha_{k}\in \mathbb{F} ，则称 xx 可以由 x1,x2,…,xkx_{1},x_{2},\dots ,x_{k} 线性表示,或者称 xx 是 x1,x2,…,xkx_{1},x_{2},\dots ,x_{k} 的线性组合， α1,α2,…,αk\alpha_{1},\alpha_{2},\ldots ,\alpha_{k} 称为线性表出系数.

设向量组 {x1,x2,…,xm}\{x_{1}, x_{2}, \ldots, x_{m}\} , 如果存在其中的 rr ( r≤mr \leq m ) 个线性无关向量 xi1,xi2,…,xirx_{i_{1}}, x_{i_{2}}, \ldots, x_{i_{r}} , 使得所有向量都可以由它们线性表示, 则称 xi1,xi2,…,xirx_{i_{1}}, x_{i_{2}}, \ldots, x_{i_{r}} 为向量组 {x1,x2,…,xm}\{x_{1}, x_{2}, \ldots, x_{m}\} 的一个极大线性无关组, 并称这组向量的秩为 rr , 记为 rank⁡({x1,x2,…,xm})=r\operatorname{rank}(\{x_{1}, x_{2}, \ldots, x_{m}\}) = r .

设 x1,x2,…,xnx_{1}, x_{2}, \ldots, x_{n} 是 S\mathbb{S} 中的一组线性无关向量. 如果 S\mathbb{S} 中的任意一个向量都可以由 x1,x2,…,xnx_{1}, x_{2}, \ldots, x_{n} 线性表示, 则称 x1,x2,…,xnx_{1}, x_{2}, \ldots, x_{n} 是 S\mathbb{S} 的一组基, 并称 S\mathbb{S} 是 nn 维的, 即 S\mathbb{S} 的维数为 nn , 记为 dim⁡(S)=n\dim(\mathbb{S}) = n . 如果 S\mathbb{S} 中可以找到任意多个线性无关向量, 则称 S\mathbb{S} 是无限维的.

子空间

设 S\mathbb{S} 是一个线性空间, W\mathbb{W} 是 S\mathbb{S} 的一个非空子集合. 如果 W\mathbb{W} 关于 S\mathbb{S} 上的加法和数乘也构成一个线性空间, 则称 W\mathbb{W} 为 S\mathbb{S} 的一个线性子空间, 简称子空间.

例1.3 设 S\mathbb{S} 是一个线性空间, 则由零向量组成的子集 {0}\{0\} 是 S\mathbb{S} 的一个子空间, 称为零子空间. 另外, S\mathbb{S} 本身也是 S\mathbb{S} 的子空间. 这两个特殊的子空间称为 S\mathbb{S} 的平凡子空间, 其他子空间都是非平凡子空间.

定理 1.1 (子空间的判别) 设 S\mathbb{S} 是数域 F\mathbb{F} 上的一个线性空间, W\mathbb{W} 是 S\mathbb{S} 的一个非空子集合, 则 W\mathbb{W} 是 S\mathbb{S} 的一个子空间的充要条件是 W\mathbb{W} 关于加法和数乘封闭, 即

(1) 对任意 x,y∈Wx, y \in \mathbb{W} , 有 x+y∈Wx + y \in \mathbb{W} ;
(2) 对任意 α∈F\alpha \in \mathbb{F} 和任意 x∈Wx \in \mathbb{W} , 有 αx∈W\alpha x \in \mathbb{W} .

设 S1,S2\mathbb{S}_1, \mathbb{S}_2 是线性空间 S\mathbb{S} 的两个子空间, 则它们的和定义为

S1+S2≜{x+y:x∈S1,y∈S2}.\mathbb {S} _ {1} + \mathbb {S} _ {2} \triangleq \left\{x + y: x \in \mathbb {S} _ {1}, y \in \mathbb {S} _ {2} \right\}.

容易证明 S1+S2\mathbb{S}_1 + \mathbb{S}_2 也是 S\mathbb{S} 的子空间.下面是关于子空间的维数的一个重要性质

定理 1.2 (维数公式) 设 S1,S2\mathbb{S}_1, \mathbb{S}_2 是线性空间 S\mathbb{S} 的两个有限维子空间, 则 S1+S2\mathbb{S}_1 + \mathbb{S}_2 和 S1∩S2\mathbb{S}_1 \cap \mathbb{S}_2 也都是 S\mathbb{S} 的子空间, 且

dim⁡(S1+S2)+dim⁡(S1∩S2)=dim⁡(S1)+dim⁡(S2).\dim (\mathbb {S} _ {1} + \mathbb {S} _ {2}) + \dim (\mathbb {S} _ {1} \cap \mathbb {S} _ {2}) = \dim (\mathbb {S} _ {1}) + \dim (\mathbb {S} _ {2}).

直和

设 S1,S2\mathbb{S}_1, \mathbb{S}_2 是线性空间 S\mathbb{S} 的两个子空间，如果 S1+S2\mathbb{S}_1 + \mathbb{S}_2 中的任一元素 xx 都可以唯一表示成

x=x1+x2,x1∈S1,x2∈S2,x = x _ {1} + x _ {2}, \quad x _ {1} \in \mathbb {S} _ {1}, x _ {2} \in \mathbb {S} _ {2},

则称 S1+S2\mathbb{S}_1 + \mathbb{S}_2 为直和，记为 S1⊕S2\mathbb{S}_1\oplus \mathbb{S}_2

关于子空间的直和的判定, 有下面的结论.

定理1.3 设 S1,S2\mathbb{S}_1, \mathbb{S}_2 是线性空间 S\mathbb{S} 的两个子空间, 则下面的论述等价:

(1) S1+S2\mathbb{S}_1 + \mathbb{S}_2 是直和；
(2) S1+S2\mathbb{S}_1 + \mathbb{S}_2 中的零元素表示方法唯一, 即若 0=x1+x20 = x_1 + x_2 , x1∈S1x_1 \in \mathbb{S}_1 , x2∈S2x_2 \in \mathbb{S}_2 , 则 x1=x2=0x_1 = x_2 = 0 ;
(3) S1∩S2={0}\mathbb{S}_1\cap \mathbb{S}_2 = \{0\}
(4) dim⁡(S1)+dim⁡(S2)=dim⁡(S1+S2)\dim (\mathbb{S}_1) + \dim (\mathbb{S}_2) = \dim (\mathbb{S}_1 + \mathbb{S}_2) .

定理1.4 设 S1\mathbb{S}_1 是线性空间 S\mathbb{S} 的一个子空间, 则存在 S\mathbb{S} 的另一个子空间 S2\mathbb{S}_2 , 使得

S=S1⊕S2.\mathbb {S} = \mathbb {S} _ {1} \oplus \mathbb {S} _ {2}.

我们称 S2\mathbb{S}_2 是 S1\mathbb{S}_1 关于 S\mathbb{S} 的补空间. 显然 S1\mathbb{S}_1 也是 S2\mathbb{S}_2 的补空间, 因此它们是互补的.

思考：补空间是否唯一？

1.1.2 内积空间

内积空间就是带有内积运算的线性空间

定义1.3 (内积空间) 设 S\mathbb{S} 是数域 F(C\mathbb{F}(\mathbb{C} 或 R\mathbb{R} ) 上的一个线性空间, 定义一个从 S×S\mathbb{S} \times \mathbb{S} 到 F\mathbb{F} 的代数运算, 记为 “ (⋅,⋅)(\cdot, \cdot) ”, 即对任意 x,y∈Sx, y \in \mathbb{S} , 都存在唯一的 f∈Ff \in \mathbb{F} , 使得 f=(x,y)f = (x, y) . 如果该运算满足

(1) (y,x)=(x,y)‾,∀x,y∈S;(y,x) = \overline{(x,y)},\quad \forall x,y\in \mathbb{S};
(2) (x+y,z)=(x,z)+(y,z),∀x,y,z∈S;(x + y,z) = (x,z) + (y,z),\quad \forall x,y,z\in \mathbb{S};
(3) (αx,y)=α(x,y),∀α∈F,x,y∈S;(\alpha x,y) = \alpha (x,y),\quad \forall \alpha \in \mathbb{F}, x,y\in \mathbb{S};
(4) (x,x)≥0(x, x) \geq 0 , 等号当且仅当 x=0x = 0 时成立;

则称 (⋅,⋅)(\cdot, \cdot) 为 S\mathbb{S} 上的一个内积 (inner product), 定义了内积的线性空间称为内积空间.

Δ\Delta 内积有时也称为标量积 (scalar product).
定义在实数域 R\mathbb{R} 上的内积空间称为欧氏空间 (Euclidean space), 定义在复数域 C\mathbb{C} 上的内积空间称为酉空间.
Δ(x,y)‾\Delta \overline{(x,y)} 表示 (x,y)(x,y) 的共轭. 当 F=R\mathbb{F} = \mathbb{R} 时, 条件 (1) 即为 (y,x)=(x,y)(y,x) = (x,y) .
Δ\Delta 内积可以看作是从线性空间 S\mathbb{S} 到数域 F\mathbb{F} 的二元函数

例1.4 设 (⋅,⋅)(\cdot, \cdot) 是 S\mathbb{S} 上的一个内积, 则容易验证:

(x,αy)=αˉ(x,y),∀α∈F,x,y∈S.(x, \alpha y) = \bar {\alpha} (x, y), \quad \forall \alpha \in \mathbb {F}, x, y \in \mathbb {S}.

例1.5 在 Cn\mathbb{C}^n 上定义内积

(x,y)≜y∗x=∑i=1nxiyˉi,(x, y) \triangleq y ^ {*} x = \sum_ {i = 1} ^ {n} x _ {i} \bar {y} _ {i},

则 Cn\mathbb{C}^n 构成一个内积空间. 类似的, Rn\mathbb{R}^n 上可以定义内积

(x,y)≜yTx=∑i=1nxiyi.(x, y) \triangleq y ^ {\mathsf {T}} x = \sum_ {i = 1} ^ {n} x _ {i} y _ {i}.

这种方式定义的内积称为欧几里得内积(Euclidean inner product),或点积 (dot product),或标准内积(standard inner product),这也是 Cn/Rn\mathbb{C}^n /\mathbb{R}^n 上的常用内积[73, page 15].

Cn\mathbb{C}^{n} 或 Rn\mathbb{R}^{n} 上的内积由无穷多个. 在本讲义中, 如果没有特别指出, 涉及到 Cn\mathbb{C}^{n} 或 Rn\mathbb{R}^{n} 上的内积时, 缺省就是上面定义的内积.

例1.6 对任意 A,B∈Rm×nA, B \in \mathbb{R}^{m \times n} , 定义

(A,B)≜tr⁡(BTA),(A, B) \triangleq \operatorname {t r} (B ^ {\mathsf {T}} A),

其中 tr⁡(⋅)\operatorname{tr}(\cdot) 表示矩阵的迹, 即对角线元素之和, 则可以证明 (A,B)(A, B) 是一个内积, 因此 Rm×n\mathbb{R}^{m \times n} 构成一

个欧氏空间.

(留作练习)

1.1.3 正交与正交补

有了内积以后, 我们就可以定义正交.

定义1.4(正交)设 S\mathbb{S} 是内积空间， x,y∈S,x,y\in \mathbb{S}, 如果 (x,y)=0,(x,y) = 0, 则称 xx 与 yy 正交,记为 x⊥y;x\bot y; 设 S1\mathbb{S}_1 是 S\mathbb{S} 的子空间， x∈S,x\in \mathbb{S}, 如果对任意 y∈S1y\in \mathbb{S}_1 都有 (x,y)=0,(x,y) = 0, 则称 xx 与 S1\mathbb{S}_1 正交,记为 x⊥S1;x\bot \mathbb{S}_1; 设 S1,S2\mathbb{S}_1,\mathbb{S}_2 是 S\mathbb{S} 的两个子空间，如果对任意 x∈S1,x\in \mathbb{S}_1, 都有 x⊥S2,x\bot \mathbb{S}_2, 则称 S1\mathbb{S}_1 与 S2\mathbb{S}_2 正交,记为 S1⊥S2.\mathbb{S}_1\bot \mathbb{S}_2.

定理1.5 设 S1,S2\mathbb{S}_1, \mathbb{S}_2 是内积空间 S\mathbb{S} 的两个子空间, 如果 S1⊥S2\mathbb{S}_1 \perp \mathbb{S}_2 , 则 S1+S2\mathbb{S}_1 + \mathbb{S}_2 是直和.

(留作课外自习)

定义1.5(正交补)设 S1\mathbb{S}_1 是内积空间 S\mathbb{S} 的一个子空间, 则 S1\mathbb{S}_1 的正交补定义为

S1⊥≜{x∈S:x⊥S1},\mathbb {S} _ {1} ^ {\perp} \triangleq \left\{x \in \mathbb {S}: x \perp \mathbb {S} _ {1} \right\},

即 S\mathbb{S} 中所有与 S1\mathbb{S}_1 正交的元素组成的集合.

容易验证, S1⊥\mathbb{S}_1^{\perp} 也是 S\mathbb{S} 的一个子空间. 另外, 我们还可以得到下面的结论

定理1.6 设 S1\mathbb{S}_1 是内积空间 S\mathbb{S} 的一个有限维子空间, 则 S1⊥\mathbb{S}_1^\perp 存在唯一, 且

S=S1⊕S1⊥.\mathbb {S} = \mathbb {S} _ {1} \oplus \mathbb {S} _ {1} ^ {\perp}.

例1.7 设 x1,x2,…,xn∈Rnx_{1}, x_{2}, \ldots, x_{n} \in \mathbb{R}^{n} . 若 x1,x2,…,xnx_{1}, x_{2}, \ldots, x_{n} 线性无关, 则 {x1,x2,…,xn}\{x_{1}, x_{2}, \ldots, x_{n}\} 构成 Rn\mathbb{R}^{n} 的一组基. 进一步, 如果 x1,x2,…,xnx_{1}, x_{2}, \ldots, x_{n} 相互正交, 即

(xi,xj)=xj⊤xi=0,i,j=1,2,…,n,\left(x _ {i}, x _ {j}\right) = x _ {j} ^ {\top} x _ {i} = 0, \quad i, j = 1, 2, \dots , n,

则称它们是一组正交基. 如果还满足

(xi,xi)=xi⊤xi=1,i=1,2,…,n,\left(x _ {i}, x _ {i}\right) = x _ {i} ^ {\top} x _ {i} = 1, \quad i = 1, 2, \dots , n,

则称它们是一组标准正交基或规范正交基. 特别地, 记 eie_i 为单位矩阵的第 ii 列, 则 {e1,e2,…,en}\{e_1, e_2, \ldots, e_n\} 构成 Rn\mathbb{R}^n 的一组标准正交基, 这组基通常称为自然基.

A 任何一组基都可以通过 Gram-Schmidt 正交化过程构造出一组标准正交基.

Previous01_第一讲_线性代数基础
Next1.2_矩阵与投影