剖析《线性代数》

发表于 2018-2-28 10:38

由于理工科（乃至经济学科）都必学《线性代数》，所以在此不想按教科书脉络给出所谓“系统化”的剖析，仅考察其“主干”。

发表于 2018-2-28 10:40

本帖最后由 HWM 于 2018-2-28 11:50 编辑

先看看线性空间，而作为前导有必要说点《近世代数》（或《抽象代数》）中的内容。

发表于 2018-2-28 10:47

常听说“数域”，譬如实数域或复数域。那么，什么是“域”？

从起始点看：

一、群(S,+)：

1）半群、幺半群和群

集合S，且有映射

f:S×S→S

可表示为

a + b = c

其中a、b和c属于S，“+”表示a和b的运算。此运算不要求可交换，但需满足结合律，即

(a + b) + c = a + (b + c)

此谓半群。

若存在元“el”或“er”，对于任意一个属于S的元a成立

el + a = a

或

a + er = a

此“el”和“er”元也被称为左或右幺元。若存在左幺元，且存在右幺元，那么左右幺元必然相等（el=er，统一用e表）。

此谓幺半群。

若对于任何属于S的元a，存在属于S中的元“-al”或“-ar”，成立

(-al) + a = e

或

a + (-ar) = e

此“-al”和“-ar”元也被称为a的左或右逆元。若存在左逆元，且存在右逆元，那么左右逆元必然相等（-al=-ar，统一用-a表）。

此谓群。

2）交换群

如果运算“+”还满足交换律，即

a + b = b + a

那么，就是个交换群（或Abel群）。显然，交换群必然存在左右幺元和左右逆元。

二、环(S,+,*)：

1）环和体

集合S，关于运算“+”构成交换群（Abel群），而关于运算“*”构成半群。此外，运算“+”与“*”间满足分配律，即

a * (b + c) = (a * b) + (a * c)
(b + c) * a = (b * a) + (c * a)

若关于运算“*”，在去除掉关于运算“+”中的幺元“e”（也称为零元，用“0”表示）后构成群，那么此环也被称为体。

2）交换环

如果运算“*”还满足交换律，即

a * b = b * a

那么就是个交换环。

三、域(S,+,*)：

集合S，关于运算“+”和“*”构成体，且关于“*”可交换（交换环），此乃域。

在域中，关于“+”的幺元用零元（“0”）表示，而关于运算“*”的幺元用单位元（“1”）表示。显然有

1 * a = a * 1 = a

其中，a为属于S的任意元素。

四、数域

1）实数域(R,+,*)

2）复数域(C,+,*)

发表于 2018-2-28 10:50

本帖最后由 HWM 于 2018-2-28 15:45 编辑

有了这些前导，线性空间就可自然引出了：

线性空间

一、定义

交换群(V,+)，及其上的数域乘。具体为

在集合V上定义了一个运算“+”，构成一个交换群。在此基础上，定义一个数域乘（数乘），即

kA = Ak ∈ V

其中，A属于V，k是数域中的数。

对于数域中的“0”元和“1”元，有下列关系

0A = 0
1A = A

此外，交换群运算“+”与“数乘”之间遵循分配律和数乘结合律，即

k(A + B) = kA + kB
(k1 + k2)A = k1A + k2A

k1(k2A) = (k1k2)A

由于

1 - 1 = 0

显然有

A + (-1)A = 0

即

-1A = -A

V中的元素乘-1就是其逆元。

二、线性无关和线性相关

1）线性组合

设A1、A2、...是属于线性空间V中的元素，显然下面式子表示的也是一个属于线性空间V的元素

k1A1 + k2A2 + ...

其中，k1、k2、...属于某个数域。

上式就是A1、A2、...的线性组合表示。

2）线性无关和线性相关

如果线性空间V中的元素A1、A2、...的线性组合等于零，即

k1A1 + k2A2 + ... = 0

当且仅当k1、k2、...都为零，那么A1、A2、...就是线性无关的，反之线性相关。

三、线性空间的维数

如果线性空间V中的元素A1、A2、...线性无关，且线性空间V中的任意一个元素都可以由A1、A2、...线性组合表示，那么此元素组（A1、A2、...）就是线性空间中一个最大的线性无关组（可称之为一组基）。

上述（最大）线性无关组中的元素个数就是相关线性空间的维数。线性空间的维数可以是有限的，也可以是无限可列的，甚至还可以是无限不可列的。线性代数中论述的线性空间通常是有限维或无限可列维的。

四、线性空间内元素组的秩

线性空间内的非全零元素组A1、A2、...未必就是线性无关，但其中必然存在一个以上的元素组成一个线性无关组。对于非全零元素组A1、A2、...中最大的线性无关元素组，其元素个数被定义为元素组A1、A2、...的秩。显然，非全零元素组A1、A2、...的秩大于等于一，且小于等于元素组A1、A2、...的元素个数。

由元素组A1、A2、...的线性组合所构成的集合同样是一个线性空间，且在原线性空间V内，故被称为V的线性子空间。此线性子空间的维数就是元素组A1、A2、...的秩。

五、线性空间的实例

线性空间看似抽象，其实不然。实际的应用例子可以说是举不胜举。

譬如

1）物理三维空间，乃至四维时空。

有限维

2）多项式空间

无限可列维

3）希尔伯特空间

无限不可列维

发表于 2018-3-2 17:47

线性变换

前面已经说了线性空间，意味着相关舞台已经搭好，下面该唱戏了。

在此有必要先说明一点，所谓线性空间之“线性”指的是线性组合。

这里，用(V1,F)和(V2,F)表示某个数域F上的两个线性空间V1和V2。如果存在映射

A:V1→V2

即对于任意属于V1的元素a，在V2中有一个唯一的元素b与之对应如下

b = A(a)

那么，就定义了一个从线性空间V1到线性空间V2的变换。需注意的是，一般而言不要求其“线性”。

如果上述变换还满足如下条件：

1）对于任意属于V1的元素a1和a2，有关系

A(a1 + a2) = A(a1) + A(a2)

2）对于任意属于V1的元素a和数域F中的数k，有关系

A(ka) = kA(a)

那么，就定义了一个从线性空间V1到线性空间V2的线性变换。注意，这才是真正地涉及到了“线性”。

其实，所谓线性变换就是一种保持线性组合形式不变的变换，即

若a1,a2,...属于V1，k1,k2,...属于F，那么对于线性变换A()而言成立下面关系

A(k1a1 + k2a2 + ...) = k1A(a1) + k2A(a2) + ...

上述线性变换的性质（其实就是其定义）也被称为叠加原理。故，线性系统（或变换）必满足叠加原理，而满足叠加原理的系统（或变换）必然是线性的。

下面考虑线性空间的基及其作用。设α1,α2,...是线性空间V1的一组基（某个最大线性无关元素组），β1,β2,...是线性空间V2的一组基。那么，V1中的任意一个元素a都可以用V1中的基线性组合表示，即

a = k1α1 + k2α2 + ...

对于V1到V2上的线性变换A()，成立

b = A(a) = k1A(α1) + k2A(α2) + ...

其中A(α1),A(α2),...是V1中基的相应变换。可见，线性变换由线性空间内基的相应变换完全确定，这也是线性系统（或变换）极为重要的特性。

为表述方便起见，下面考虑有限维空间，设V1是m维线性空间，即其基为α1,α2,...,αm；设V2是n维线性空间，即其基为β1,β2,...,βn。V1中基的相应变换A(α1),A(α2),...（属于V2）用V2中的基线性组合表示，具体为

A(α1) = k11β1 + k21β2 + ... + kn1βn
A(α2) = k12β1 + k22β2 + ... + kn2βn
....
A(αm) = k1mβ1 + k2mβ2 + ... + knmβn

这样，线性变换由基的线性组合完全确定。意味着，一旦确定了线性空间的基，其上的线性变换由其“系数”（线性组合）表征。

下面该看看具体的“系数”形式了。先定义“坐标”，具体针对上述（有限维）线性空间V1和V2。

由于V1中任意一个元素a都可以用V1中的基线性组合唯一表示，即

a = x1α1 + x2α2 + ... + xmαm

那么就定义(x1,x2,...,xm)为线性空间中元素a在基α1,α2,...,αm下的坐标。同样由于V2中任意一个元素b有如下线性组合唯一表示

b = y1β1 + y2β2 + ... + ynβn

那么，元素b相应的坐标就是(y1,y2,...,yn)。

显见，线性空间V2中元素b的坐标与线性空间V1中元素a的坐标成立如下关系。

发表于 2018-3-2 17:52

矩阵表示

发表于 2018-3-2 17:53

上式就是线性变换在V1基α1,α2,...,αm和V2基β1,β2,...,βn下的矩阵表示。

如果V1=V2=V（n维），而在V内取一组基α1,α2,...,αn，那么相应的矩阵就是个方阵（m=n）。

需注意的是，线性变换的相应矩阵表示与其所选择的基有关。不同的基，相应就有不同的矩阵。

发表于 2018-3-2 17:53

线性变换是被使用极广的一类变换，这里仅简单举几例：

1）线性空间转动

2）线性空间投影

3）多项式空间上的导数

发表于 2018-3-11 18:10

不同基下线性空间内的元素坐标以及线性变换矩阵的关系

前面说过，不同基下线性空间内的元素坐标不同，且其内的线性变换矩阵也不同，那么其呈现什么关系呢？关于这些内容，任何一本《线性代数》都有详细介绍，这里就不再赘述了。这里只是提及相关的术语——“相似”关系。

不同基下，线性变换矩阵呈现出某种“相似性”，这说明了在不同基下线性变换的某些特征不变，而这些特征就反映在了线性变换的特征多项式、特征值和特征向量等之上。

线性变换在基下的矩阵可通过不同基间的关系进行变化（这些矩阵都具有相似关系），那么如何通过这种相似关系得到比较简单的矩阵形式呢？这就涉及到矩阵的标准型问题，由于相关内容较多且对《线性代数》的“主干”表述影响不大，所以在此也一并略去，感兴趣者可以自己找本《线性代数》相关书籍看看具体的详细内容。

不过，这里给出不同基下元素坐标和线性变化矩阵的关系，见下表：

发表于 2018-3-11 18:15

不同基下的关系：

发表于 2018-3-11 18:19

相似关系一例：

前面提到了空间转动变换是个线性变换。这里着重说一下二维空间内的转动变换，显然此变换是个线性变换。

如果选用二维笛卡尔坐标轴上的单位向量作为基（α1,α2），那么相关坐标为（x1,x2）。在此基下，很容易写出转动线性变换的矩阵（见下表）。

现在看一下这个式子：

AX = λX

其中A是转动变换，X是一个向量，λ是一个数。上式是一个常见的式子，求解特征值和特征向量时常用。

现在看看这个式子的意义，其表明向量X经变换后是一个自身乘某个数的向量。直观看，变换没有改变X的方向（充其量反向），而对于转动变换来说，这似乎不可能（转动就是改变了向量的方向）。但是，后面可以看到，在变换基后，这个式子还真成立。利用此（即存在两个不同的特征值），可使转动变换在其特征向量基下呈现为对角阵，而对角阵中的对角元素就是相关转动变换的特征值。

请注意转动变换的特征值，以及在其特征向量基下向量的坐标。这就是转动的变换及其向量坐标的“相量”表示，具体关系见下表。

发表于 2018-3-11 18:20

转动变换与相量表示：

发表于 2018-3-13 10:59

线性变换的像空间和核空间

对于线性变换A，其像空间（由变换的所有像元素构成的空间）是相关线性空间V的一个线性子空间。像空间其实就是通常所谓的变换之值域空间，可表示为

A(V) = {b|b=A(a),a∈V}

而对于线性变换A，其核空间（零元素的所有原像构成的空间）同样也是相关线性空间V的一个线性子空间，可表示为

A⁻¹(0) = {a|A(a)=0}

这里，“A(V)”和“A⁻¹(0)”仅是相关集合的一个表示符号。

线性空间有其维数，可以证明关于线性变换A的像空间和核空间有下面的关系式

d(A(V)) + d(A⁻¹(0)) = d(V)

其中d()表示维数。

由于d(A(V))=R(A)（R(A)表示A的秩）且d(V)=n（n是线性空间V的维数），那么就有关系

d(A⁻¹(0)) = n - R(A)

线性变换A的核空间，也可理解为相关齐次方程

AX = 0

的解空间。

上式中“A”是线性变换在某基下的矩阵，而X为相应基下的元素坐标。

那么，n - R(A)就是上述齐次方程解空间的维数。

发表于 2018-4-8 10:50

本帖最后由 HWM 于 2018-4-8 11:54 编辑

线性空间的度量及其内的投影变换

先看几个概念：

1）线性映射

f:V→F

其中，F是某个数域，V是数域F上的线性空间。按线性定义，其满足叠加原理

f(k1A1+k2A2) = k1f(A1) + k2f(A2)

其中，k1和k2属于数域F，而A1和A2属于线性空间V。

2）双线性映射

g:V²→F

也可表示成

a = g(A1,A2)

其中，a属于数域F，A1和A2属于线性空间V。这里的“双线性”意思是固定A1或A2，其是个线性映射。在此特别强调一点，那就是“双线性映射”本身并不是一个线性映射，即其不满足叠加原理。

3）内积

对于双线性映射g，若其满足下面几个条件（这里用(,)简化表示g(,)）

a）交换共轭

(A,B) = (B,A)⋇

其中“⋇”表示共轭。

b）（左）数乘

(kA,B) = k(A,B)

c）分配律

(A1+A2,B) = (A1,B) + (A2,B)

d）自内积非负性

(A,A) ≥ 0

当且仅当A是零元（A=0）时，等号成立（即等于零）。

线性空间上定义了内积，则相应线性空间被称为内积空间（或酉空间）。而利用其自内积，可定义其上的模（或范数），就得到了相应的赋范空间。具体定义如下

‖A‖² = (A,A)

由于模（范数）非负，所以有

‖A‖ = √(A,A) ≥ 0

同样，当且仅当A是零元（A=0）时，等号成立（即等于零）。

关于模，有下列几个重要性质

a）数乘

‖kA‖ = |k|‖A‖

注意上面的“绝对值”。

b）柯西-施瓦茨不等式和三角不等式

|(A,B)| ≤ ‖A‖‖B‖

‖A+B‖ ≤ ‖A‖ + ‖B‖

利用“模”就可以定义线性空间内元素的长短大小，这其实已经是引入了一种度量——长度度量。此外，利用内积还可以定义线性空间内元素间的“角度”度量，具体如下

cos(θ) = (A,B)/(‖A‖‖B‖)

其中，要求(A,B)是实数，且A和B非零元。

由于cos(π/2)=0，所以若(A,B)=0则也称A和B正交。

从上面关于内积及其“角度”度量的定义来看，其实内积就是某种投影变换，具体表述如下

B = (A,C)C/ ‖C‖

其中C为非零元。

可称B为A在C上的投影。显然投影变换是个线性变换，其也是个极为重要的变换，譬如傅里叶变换就是个与投影有关的变换。

发表于 2018-4-8 12:57

内积在基（α）下的矩阵表示

先看看线性映射

a = f(X)

其中，a属于数域F，X属于F上的线性空间V。

将X用α基线性组合表示为

X = x1α1 + x2α2 + ... + xnαn

显然，(x1,x2,...,xn)就是X在α基下的坐标。那么，线性映射f可表示成下式

a = x1f(α1) + x2f(α) + ... + xnf(αn)

可见，一旦线性空间内的基确定，其上的线性映射由其基的相应映射完全唯一确定。

下面看看内积（一种双线性映射）

a = (X,Y)

其中，a属于数域F，X和Y属于F上的线性空间V。

同样，将X和Y用α基线性组合表示为

X = x1α1 + x2α2 + ... + xnαn

Y = y1α1 + y2α2 + ... + ynαn

代入内积式子，可得

a = x1y1(α1,α1) + x1y2(α1,α2) + ... + x1yn(α1,αn) + x2y1(α2,α1) + ... + xnyn(αn,αn)

同样可见，一旦线性空间内的基确定，其上的内积由其基的相应内积完全唯一确定。可将基的内积用方阵A表示，其元素就是(αi,αj)（i=1...n,j=1...n）。那么，α基下的内积可以表示成下式

a = (x1,x2,...,xn)A(y1,y2,...,yn)⊺

其中“⊺”表示转置，即(y1,y2,...,yn)⊺是个列向量。

如果β是线性空间V内另一组基，且变换矩阵为P，即

Xβ = P⁻¹Xα

其中Xα表示X在α基下的坐标列向量，Xβ表示X在β基下的坐标列向量。

那么，β基下的内积矩阵为下式

(P⊺)AP

其中P⊺表示P的转置。

发表于 2018-4-19 18:52

标准正交基及正交变换

标准正交基在三维空间内非常直观且简单，但到了三维以上空间（特别是无限维空间）则就显得比较的抽象。其实，只要掌握其基本的特征和相关运算规律理解起来并不太难，而一旦掌握了这些要领对与之相关的一些知识的理解就会更清晰透彻。

下面先看标准正交基及正交变换的基本概念。

发表于 2018-4-19 18:56

标准正交基及正交变换

发表于 2018-4-19 19:04

下面再简单介绍一下厄米变换和厄米矩阵，这在《量子力学》和其它的一些学科中都有广泛的应用。

由于这里只是主要“主干”知识框架的梳理，所以在此不对厄米矩阵的一些特性作进一步深入的论述。感兴趣者可以通过阅读相关教科书去详细地了解其中的内容。

发表于 2018-4-19 19:08

厄米矩阵

发表于 2018-4-19 19:19

《线性代数》论述的主要是有限或可列无限维线性空间的结构特征及其上的变换和运算的性质。对于无限不可列维的线性空间，譬如希尔伯特空间，由于其需要一些《线性代数》以外的数学基础理论，所以通常不会涉及。但在此，暂撇开一些数学基础理论，仅就基本的“逻辑形式”，对积分变换（特别是傅里叶变换）作“形式”上的类比分析。通过下面的分析，可以清晰地看到这些变换的本质。

剖析《线性代数》

相关帖子

荣誉元老奖章

坚毅之洋流

十世金身

技术领袖奖章