线性代数

第1章 线性方程

第1.1节 域

我们假定读者熟悉实数和复数的初等代数. 对于本书的很大一部分, 数字的代数性质可从以下所列加法和乘法的性质简单推导出来. 我们令$F$代表实数集或复数集.

1. 加法是交换的,$$x+y=y+x$$对于所有$F$中的$x$和$y$成立.
2. 加法是结合的,$$x+(y+z)=(x+y)+z$$对于所有$F$中的$x$, $y$和$z$成立.
3. $F$中存在唯一的元素$0$ (零) 满足$x+0=x$对于每个$F$中的$x$成立.
4. 对于每个$F$中的$x$存在唯一的$F$中的元素$(-x)$满足$x+(-x)=0$与之对应.
5. 乘法是交换的,$$xy=yx$$对于所有$F$中的$x$和$y$成立.
6. 乘法是结合的,$$x(yz)=(xy)z$$对于所有$F$中的$x$, $y$和$z$成立.
7. $F$中存在唯一的非零元素$1$ (幺) 满足$x1=x$对于每个$F$中的$x$成立.
8. 对于每个$F$中非零的$x$存在唯一的$F$中的元素$x^{-1}$ (或$1/x$) 满足$x{x}^{-1}=1$与之对应.
9. 乘法对于加法分配, 即$x(y+z)=xy+xz$对于所有$F$中的$x$, $y$和$z$成立.

假定我们拥有一个包含对象$x,y,z,\dots$的集合$F$和如下两种$F$上的运算. 第一种运算, 被称为加法, 联系每对$F$中的$x$和$y$以$F$中的元素$(x+y)$. 第二种运算, 被称为乘法, 联系每对$F$中的$x$和$y$以$F$中的元素$xy$. 若是这两种运算满足如上从1到9的条件, 那么集合$F$以及此两种运算被合称为一个域. 粗略说来, 一个域就是一个集合带有某些运算, 这些运算表现得就像通常的数字加减乘除一样, 在满足如上九条代数法则的意义下. 带有通常的加法和乘法运算, 复数集$ℂ$是一个域, 实数集$ℝ$也是一个域.

对于本书的大部分内容而言, 我们使用的"数字"可以来源于任意的域. 为了允许这种一般性, 我们将使用术语"标量"而不是"数字". 如果读者总是认为标量域是一个复数域的子域, 他也不会损失太多. 域$ℂ$的一个子域是一个复数的集合$F$, 其在通常的加法和乘法下自身就是一个域. 这意味着$0$和$1$在$F$之中, 并且如果$x$和$y$是$F$的元素, 那么$(x+y)$, $-x$, $xy$和$x^{-1}$ (如果$x\ne 0$) 也是$F$的元素. [译注: 实际上这给出了子域的判则.] 这样的子域的一个例子是实数域$ℝ$, 因为如果我们把实数当作是虚部为$0$的复数, 复数域的$0$和$1$是实数, 并且如果$x$和$y$是实数, 那么$(x+y)$, $-x$, $xy$和$x^{-1}$ (如果$x\ne 0$) 也是实数. 我们讨论子域的要义如下, 若是我们处理来源于某个特定子域的标量, 那么施行加减乘除不会将我们带出给定的子域.

在本书的例子和练习中, 读者应该将其中的域当成是复数域的某个子域, 除非另有说明这个域更加一般. 我们不想对于该点多加讨论. 然而, 我们应该指出我们为什么采用这样的约定. 如果$F$是一个域, 有限多个单位元$1$加起来有可能得到$0$ (见第1.2节练习5):$$1+1+\cdots +1=0$$复数域并不会发生这样的事情 (或者在任何复数域的子域). 如果在域$F$中的确发生了这样的事情, 那么使得有限个$1$加起来等于$0$所用的$1$的最少数目被称为域$F$的特征. 若是没有这样的事情, (出于某种奇怪的原因) 我们就称域$F$的特征为零. 经常的情况是, 我们假定$F$是$ℂ$的子域是希望保证$F$的特征为零. 不过, 在初次接触线性代数的时候, 通常最好还是别太担心关于域的特征的事情.

第1.2节 线性方程组

设$F$是一个域. 我们考虑找出满足下列条件的$n$个标量 (即$F$的元素) $x_1,\dots ,x_n$的问题.$$\{\begin{array}{ccccccccc}{A}_{1,1}{x}_1& +& A_{1,2}{x}_2& +& \cdots & +& A_{1,n}{x}_n& =& y_1\\ A_{2,1}{x}_1& +& A_{2,2}{x}_2& +& \cdots & +& A_{2,n}{x}_n& =& y_2\\ ⋮& & ⋮& & & & ⋮& & ⋮\\ A_{m,1}{x}_1& +& A_{m,2}{x}_2& +& \cdots & +& A_{m,n}{x}_n& =& y_m\end{array}$$其中$y_1,\dots ,y_m$和$A_{i,j},1\le i\le m,1\le j\le n$是给定的$F$的元素. 我们称其为具$m$个方程$n$个未知元的线性方程组. 任何满足每个方程的由$F$的元素构成的$n$元组$(x_1,\dots ,x_n)$都被称为方程组的一个解. 如果$y_1=\cdots =y_m=0$, 我们称该方程组是齐次的, 或者说每个方程是齐次的.

或许寻找线性方程组的解的最根本的技术就是消元法. 我们可以对于以下齐次方程组刻画这种方法.$$\{\begin{array}{ccccccc}2x_1& -& x_2& +& x_3& =& 0\\ x_1& +& 3x_2& +& 4x_3& =& 0\end{array}$$如果我们加$(-2)$倍的第二个方程到第一个方程上去, 就得到了$$\begin{array}{ccccc}-7x_2& -& 7x_3& =& 0\end{array}$$或$x_2=-x_3$. 如果加$3$倍的第一个方程到第二个方程上去, 就得到了$$\begin{array}{ccccc}7x_1& +& 7x_3& =& 0\end{array}$$或$x_1=-x_3$. 因此, 我们总结道, 如果$(x_1,x_2,x_3)$是一个解, 那么$x_1=x_2=-x_3$. 反过来, 我们可以验证每个这样的三元组都是一个解, 于是解集就由所有的三元组$(-a,-a,a)$构成.

我们通过"消去未知元"找到了方程组的解, 也就是通过给方程乘上标量再加起来的方式产生有些$x_j$不存在的方程. 我们希望形式化这个过程一点, 以理解为什么这种方法有效, 并按照秩序井然的方式来施行解方程组所必要的计算.

对于这样的一般性方程组, 假定我们挑选$m$个标量$c_1,\dots ,c_m$, 将第$j$个方程乘上$c_j$并将它们加起来, 我们就得到了方程$$(c_1{A}_{1,1}+\cdots +c_m{A}_{m,1})x_1+\cdots +(c_1{A}_{1,n}+\cdots +c_m{A}_{m,n})x_n=c_1{y}_1+\cdots +c_m{y}_m$$这样的方程被我们称为该线性方程组的线性组合. 显然, 每个方程组的解也是这个新的方程的解. 这就是消元过程的根本想法. 如果我们有了另外一个线性方程组$$\{\begin{array}{ccccccccc}{B}_{1,1}{x}_1& +& B_{1,2}{x}_2& +& \cdots & +& B_{1,n}{x}_n& =& z_1\\ B_{2,1}{x}_1& +& B_{2,2}{x}_2& +& \cdots & +& B_{2,n}{x}_n& =& z_2\\ ⋮& & ⋮& & & & ⋮& & ⋮\\ B_{k,1}{x}_1& +& B_{k,2}{x}_2& +& \cdots & +& B_{k,n}{x}_n& =& z_k\end{array}$$其每个方程都是原本的线性方程组的方程的线性组合, 那么每个原本的线性方程组的解也是这个新的线性方程组的解. 当然, 新的方程组的解不一定是原本方程组的解. 但要是原本方程组的每个方程都是新的线性方程组的方程的线性组合的话, 这种事情就不会发生. 我们称两个线性方程组是等价的, 如果它们的每个方程都能表示为另一个线性方程组的方程的线性组合.

欲使消元过程在线性方程组求解中发挥效用, 人们就必须找出产生更容易求解的等价线性方程组的手段. 接下来的一节, 我们将讨论其中一种方法.

第1.3节 矩阵和初等行变换

读者不可能没注意到, 在构造线性方程的线性组合时, 未知元$x_1,\dots ,x_n$是没有必要写下来的, 因为你实际上只是根据系数$A_{i,j}$和常元$y_i$进行计算. 现在我们将线性方程组简写成$$AX=Y$$其中$$A=\left[\begin{array}{ccc}{A}_{1,1}& \cdots & A_{1,n}\\ ⋮& & ⋮\\ A_{m,1}& \cdots & A_{m,n}\end{array}\right],X=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right],Y=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_m\end{array}\right]$$我们将$A$称为系数矩阵. 严格说来, 上面显示的矩形阵列不是矩阵, 而是矩阵的表示. 一个域$F$上的$m\times n$矩阵是一个从序对$(i,j),1\le i\le m,1\le j\le n$的集合到域$F$的函数. [译注: 或许读者会对于这句话感到迷惑, 这是因为中文将matrix翻译成矩阵.] 矩阵$A$的元素即标量$A(i,j)=A_{i,j}$, 并且往往描述矩阵的最简单方式是将其元素写成如上$m$行$n$列的矩形阵列的形式. 因此, 上面的$X$是 (或者说定义了) 一个$n\times 1$的矩阵, 而$Y$是一个$m\times 1$的矩阵. 暂时, $AX=Y$只是一种简记法. 之后, 我们将定义矩阵乘法, 那么它的意思就是$Y$是$A$和$X$之积.

我们现在希望考虑与构造线性方程的线性组合有关的矩阵$A$的行上的操作. 我们将我们的注意力限制在域$F$上的$m\times n$矩阵$A$的三种初等行变换上:

1. 给矩阵$A$的一行乘上一个非零的标量$c$;
2. 将$A$的第$r$行替换以第$r$行加上$c$乘上第$s$行, 其中$c$是任意的标量, 并且$r\ne s$;
3. 交换$A$的第$r$行和第$s$行.

1. ${e(A)}_{i,j}=A_{i,j}$如果$i\ne r$, ${e(A)}_{r,j}=c{A}_{r,j}$.
2. ${e(A)}_{i,j}=A_{i,j}$如果$i\ne r$, ${e(A)}_{r,j}=A_{r,j}+c{A}_{s,j}$.
3. ${e(A)}_{i,j}=A_{i,j}$如果$i$异于$r$和$s$, ${e(A)}_{r,j}=A_{s,j}$, ${e(A)}_{s,j}=A_{r,j}$.

之所以我们将我们自己限制于这三种简单的行变换上, 是因为既已施行这样的$e$于$A$之上后, 我们能够通过在$e(A)$上施行一个类似的操作来恢复$A$.

使用定理2, 容易验证以下事实. 每个矩阵都行等价于自身. 如果$B$行等价于$A$, 那么$A$行等价于$B$. 如果$B$行等价于$A$而$C$行等价于$B$, 那么$C$行等价于$A$. 换句话说, 行等价是等价关系 (见附录).

例子5和例子6里我们显然不是在随意施行行变换. 我们对于行变换的选择是由想要像消去未知元解线性方程组一样化简系数矩阵的欲望驱使的. 现在让我们给出一个形式化的定义, 对于我们想要抵达什么类型的矩阵.

例子5和例子6最终呈现的矩阵都是行简化矩阵. 以下是两个不是行简化矩阵的例子:$$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& -1& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 2& 1\\ 1& 0& -3\\ 0& 0& 0\end{array}\right]$$第二个矩阵没有满足条件a, 因为第一行的首非零元不是$1$. 第一个矩阵满足了条件a, 但是第三列没有满足条件b.

现在我们将证明我们可以从任意的矩阵出发, 通过有限数目的初等行变换, 得到一个行简化矩阵. 结合定理3, 这给我们提供了一个解决线性方程组的有效工具.

第1.4节 行简化阶梯矩阵

到目前为止, 我们对于线性方程组的处理是由找出方程组的解的尝试推动的. 在第1.3节, 我们建立了找出这些解的一种标准化技术. 现在我们希望获得一些稍微理论一点的信息, 出于这样的目的, 走得比行简化矩阵更远一点是方便的.

人们也可以按照以下方式刻画$m\times n$的行简化阶梯矩阵$R$. 要么$R$的每个元素都是$0$, 要么存在一个正整数$r,1\le r\le m$, 以及$r$个正整数$k_1,\dots ,k_r,1\le k_i\le n$满足

1. 对于$i>r$, $R_{i,j}=0$, 并且$R_{i,j}=0$如果$j<k_i$.
2. $R_{i,k_j}={\delta }_{i,j},1\le i\le r,1\le j\le r$.
3. $k_1<\cdots <k_r$.

在例子5和例子6中我们看到了在求解齐次线性方程组时行简化矩阵的重要性. 现在让我们来简要讨论方程组$RX=0$, 其中$R$是一个行简化阶梯矩阵. 令第$1,\dots ,r$行是$R$的非零行, 并设第$i$行的首非零元出现在第$k_i$列. 于是, 方程组$RX=0$包含$r$个非平凡方程. 并且, 未知元$x_{k_i}$仅会出现在第$i$行. 如果我们用$u_1,\dots ,u_{n-r}$代表异于$x_{k_1},\dots ,x_{k_r}$的$(n-r)$个未知元, 那么$RX=0$的$r$个非平凡方程具有如下的形式.$$\{\begin{array}{ccccc}{x}_{k_1}& +& \sum _{j=1}^{n-r}{C}_{1,j}{u}_j& =& 0\\ & ⋮& & & ⋮\\ x_{k_r}& +& \sum _{j=1}^{n-r}{C}_{r,j}{u}_j& =& 0\end{array}$$线性方程组$RX=0$的所有解都可以由给$u_1,\dots ,u_{n-r}$赋任意的值然后计算相对应的$x_{k_1},\dots ,x_{k_r}$的值获得. 例如, 如果$R$是例子8展示的那个矩阵, 那么$r=2,k_1=2,k_2=4$, 并且$RX=0$的两个非平凡方程是$$\{\begin{array}{ccccccccc}{x}_2& -& 3x_3& & & +& \frac{1}{2}{x}_5& =& 0\\ & & & & x_4& +& 2x_5& =& 0\end{array}\text{或者写成}\{\begin{array}{ccc}{x}_2& =& 3x_3-\frac{1}{2}{x}_5\\ x_4& =& -2x_5\end{array}$$于是我们可以给$x_1$, $x_3$和$x_5$赋任意的值, 比如$x_1=a,x_3=b,x_5=c$, 然后就得到了解$(a,3b-\frac{1}{2}c,b,-2c,c)$.

让我们再观察到与线性方程组$RX=0$有关的另一个事实. 如果$R$的非零行数$r$小于$n$, 那么方程组$RX=0$具有一个非平凡的解, 即一个解$(x_1,\dots ,x_n)$, 其中不是每个$x_j$都是$0$. 这是因为, 既然$r<n$, 我们可以挑选一个$x_j$, 其异于$x_{k_1},\dots ,x_{k_r}$, 那么我们可以按照如上方式构造出一个解, 其中令$x_j=1$. 这个观察将我们引导至和齐次线性方程组有关的最根本性的事实之一.

现在让我们来探究如何使用初等行变换求解非齐次的线性方程组$AX=Y$. 首先, 读者应该注意到它与齐次情形的一个基本区别, 即尽管齐次线性方程组总有平凡的解$x_1=\cdots =x_n=0$, 非齐次的情况压根不一定有解.

我们来构造线性方程组$AX=Y$的增广矩阵$A^{\prime }$. 这是一个$m\times (n+1)$的矩阵, 其中前$n$列是$A$的列, 最后一列是$Y$. 更精确地,$$A_{i,j}^{\prime }=A_{i,j}\text{如果}j\le n,A_{i,n+1}^{\prime }=y_i\text{.}$$设我们施行了一系列初等行变换于$A$, 得到了一个行简化阶梯矩阵$R$. 如果我们施行相同的初等行变换于$A^{\prime }$, 就会得到一个矩阵$R^{\prime }$, 其前$n$列是$R$的列, 而最后一列包含特定的标量$z_1,\dots ,z_m$. 标量$z_i$是$m\times 1$矩阵$$Z=\left[\begin{array}{c}{z}_1\\ ⋮\\ z_m\end{array}\right]$$的元素, 它是由施行相同的初等行变换于$Y$得到的. 显然读者应该认识到, 正如定理3的证明一样, 线性方程组$AX=Y$和$RX=Z$是等价的, 因而拥有相同的解. 很容易确定$RX=Z$是否有解并在有解的情况下确定所有的解. 这是因为, 如果$R$具有$r$个非零行, 并且其第$i$行的首非零元出现在第$k_i$列, 其中$i=1,\dots ,r$, 那么$RX=Z$的前$r$行有效地表达了$x_{k_1},\dots ,x_{k_r}$, 基于$(n-r)$个剩余的$x_j$和标量$z_1,\dots ,z_r$. 最后的$(m-r)$个方程是$$\begin{array}{ccc}0& =& z_{r+1}\\ ⋮& & ⋮\\ 0& =& z_m\end{array}$$据此, 方程组拥有解的条件是$i>r$时$z_i=0$. 如果这个条件被满足, 所有线性方程组的解就可以像齐次的情况一样被找到, 即给$(n-r)$个$x_j$赋任意的值, 然后根据第$i$个方程计算$x_{k_i}$的值.

让我们再做关于线性方程组$AX=Y$的最后一个观察. 设矩阵$A$的元素和标量$y_1,\dots ,y_m$恰好落入域$F$的一个子域$F_1$中. 如果线性方程组$AX=Y$拥有在域$F$中的解, 那么它也拥有在域$F_1$中的解, 因为不论对于哪一个域而言, 线性方程组有解的条件都是域$F_1$中$y_1,\dots ,y_m$之间的特定关系成立 (也就是上面的关系$z_i=0$对于$i>r$成立). 举个例子, 如果$AX=Y$是一个线性方程组, 其标量$y_k$和$A_{i,j}$都是实数, 若其有复数的解, 那么它也有实数的解.

第1.5节 矩阵乘法

显然构造矩阵的行的线性组合的过程是一种根本性的运算. 出于这样的理由, 引入指示何种操作将被施行的系统记号是很有好处的. 更细致地说, 设$B$是域$F$上的$n\times p$矩阵, 其行分别为${\beta }_1,\dots ,{\beta }_n$. 从$B$我们构造出$C$, 其行分别为${\gamma }_1,\dots ,{\gamma }_m$而$${\gamma }_i=A_{i,1}{\beta }_1+A_{i,2}{\beta }_2+\cdots +A_{i,n}{\beta }_n\text{.}$$$C$的行是由$mn$个标量$A_{i,j}$决定的, 而它们本身是一个$m\times n$矩阵$A$的元素. 将${\gamma }_i$展开来看,$$(C_{i,1},\dots ,C_{i,p})=\sum _{r=1}^n(A_{i,r}{B}_{r,1},\dots ,A_{i,r}{B}_{r,p})$$我们发现$C$的元素由$$C_{i,j}=\sum _{r=1}^n{A}_{i,r}{B}_{r,j}$$给出.

注意到两个矩阵之积不必有定义是重要的. 积有定义当且仅当第一个矩阵的列数与第二个矩阵的行数相合. 因此, 交换以上a, b, c中因子的顺序是没有意义的. 往往我们写下如$AB$一样的积时并不显式提及因子的尺寸, 在这种情况下, 应该理解为积是有定义的. 从d, e, f, g中我们发现, 即便$AB$和$BA$都有定义, 也不一定有$AB=BA$. 换句话说, 矩阵乘法不是交换的.

列矩阵的使用提示了一种往往有用的记号. 如果$B$是一个$n\times p$的矩阵, 那么$B$的列是$n\times 1$矩阵$B_1,\dots ,B_p$, 由$$B_j=\left[\begin{array}{c}{B}_{1,j}\\ ⋮\\ B_{n,j}\end{array}\right],1\le j\le p$$定义. 矩阵$B$是由这些列相继构成的:$$B=[B_1,\dots ,B_p]$$积矩阵$AB$的第$i$行$j$列元素是由$A$的第$i$行和$B$的第$j$列构造出来的. 读者应该验证$AB$的第$j$列就是$A{B}_j$:$$AB=[A{B}_1,\dots ,A{B}_p]$$