引言

线性代数不仅是大学数学的重要组成部分，更是理解现代人工智能系统的核心语言。在向量空间中建模，在矩阵变换中理解结构，在特征分解中揭示本质，线代的每一个概念都与机器学习、深度学习和强化学习息息相关。

本系列笔记旨在对线性代数的基础概念、常用定理、典型方法与几何直觉进行系统梳理与逐章讲解，并融合我在人工智能学习中的理解与应用联系，为之后深入强化学习等课程打下坚实的数学基础。

在这里我也会给出一些优秀的学习资料参考，希望对大家有所帮助：

• 线性代数及其应用
• 线性代数的本质 3Blue1Brown
• MIT’s Courses 1806
• Sheldon Axler—Linear Algebra Done Right 3e

第一章 线性代数中的线性方程组

1.1 线性方程组

线性方程组是形如下式的方程：

$$a_1x_1+a_2x_2+...+a_nx_n=b$$

其中 $b$ 与系数 $a_i$ 为实数或复数，通常是已知的，未知数 $x_i$ 为变量。

方程组所有可能的解的集合称为线性方程组的解集。

若两个线性方程组有相同的解集，则这两个线性方程组称为等价的。

线性方程组的解有如下三种情况：

1. 无解
2. 有唯一解
3. 有无穷多个解

我们称一个线性方程组是相容的，如果它至少有一个解。否则，称其为不相容的。

这里还涉及到概念系数矩阵A和增广矩阵C：

$$A=\begin{bmatrix} a_{11} & a_{12} & ... & a_{1n} \\ a_{21} & a_{22} & ... & a_{2n} \\ ... & ... & ... & ... \\ a_{m1} & a_{m2} & ... & a_{mn} \end{bmatrix}$$

$$C=[A\quad B]=\begin{bmatrix} a_{11} & a_{12} & ... & a_{1n} & b_1 \\ a_{21} & a_{22} & ... & a_{2n} & b_2 \\ ... & ... & ... & ... & ... \\ a_{m1} & a_{m2} & ... & a_{mn} & b_m \end{bmatrix}$$

常见的三种初等行变换：

1. （倍加变换）把某一行换成它本身与另一行的倍数的和；
2. （对调变换）交换矩阵的两行；
3. （倍乘变换）用一个非零常数乘某一行。

如果其中一个矩阵可以经过一系列初等行变换称为另外一个矩阵，我们称这两个矩阵是行等价的，而且行变换是可逆的。

如果两个线性方程组的增广矩阵是行等价的，那么这两个线性方程组有相同的解集。

1.2 行化简与阶梯形矩阵

1.2.1 阶梯形与行简化阶梯形概念

我们先引入如下两个重要概念：

1. 非零行或列：指矩阵中至少包含一个非零元素的行或列；
2. 非零行的先导元素：该行中最左边的非零元素。

接下来我们引入阶梯形，我们称一个矩阵是阶梯形矩阵，满足以下三条性质：

1. 每一个非零行都在零行之上；
2. 非零行的先导元素所在列的下面元素全为零；
3. 某一行行的先导元素所在的列位于前一行先导元素所在列的右侧。

形如下式：

$$\left[ \begin{array}{rrrr} 2 & -3 & 2 & 1 \\ 0 & 1 & -4 & 8 \\ 0 & 0 & 0 & \dfrac{5}{2} \end{array} \right]$$

再引入行简化阶梯形，在满足阶梯形的基础上，满足以下两条性质：

1. 每一非零行的先导元素为1；
2. 每一先导元素1是该元素所在列的唯一非零元素。

形如下式：

$$\left[ \begin{array}{ccc|c} 1 & 0 & 0 & 29 \\ 0 & 1 & 0 & 16 \\ 0 & 0 & 1 & 3 \end{array} \right]$$

这里我们引入一条重要定理：每个矩阵行等价于唯一的简化阶梯形矩阵。

任何非零矩阵都可以进行行简化变为阶梯形矩阵，但用不同的方法可以得到不同的阶梯形矩阵；然而，一个矩阵只能化作唯一的行简化阶梯形矩阵。

1.2.2 主元位置

这里我们定义如下：

1. 主元：非零行的先导元素1；
2. 主元位置：非零行的先导元素1所在位置；
3. 主元列：$A$ 的含有主元位置的列。

1.2.3 行化简算法

算法前四步骤产生一个阶梯形矩阵，第五步产生简化阶梯形矩阵。这里我们引入一个实例说明：

$$\left[ \begin{array}{rrrrrr} 0 & 3 & -6 & 6 & 4 & -5 \\ 3 & -7 & 8 & -5 & 8 & 9 \\ 3 & -9 & 12 & -9 & 6 & 15 \end{array} \right]$$

第一步：由最左的非零行开始，这是一个主元列，主元位置在该列顶端。

$$\left[ \begin{array}{rrrrrr} 0 & 3 & -6 & 6 & 4 & -5 \\ 3 & -7 & 8 & -5 & 8 & 9 \\ 3 & -9 & 12 & -9 & 6 & 15 \end{array} \right]$$

其中第 1 列为当前主元列，因为在该列中第 2 行或第 3 行的元素为非零，适合进行行交换以选取主元。

第二步：在主元列中选取一个非零元素作为主元，若有必要的话，对换两行使这个元素移动到主元位置上。

$$\left[ \begin{array}{rrrrrr} \mathbf{3} & -9 & 12 & -9 & 6 & 15 \\ 3 & -7 & 8 & -5 & 8 & 9 \\ 0 & 3 & -6 & 6 & 4 & -5 \end{array} \right]$$

其中第 1 行第 1 列的元素 $\mathbf{3}$ 为主元（pivot）。

第三步：用倍加行变换将主元下面的元素变为0。

$$\left[ \begin{array}{rrrrrr} \mathbf{3} & -9 & 12 & -9 & 6 & 15 \\ 0 & 2 & -4 & 4 & 2 & -6 \\ 0 & 3 & -6 & 6 & 4 & -5 \end{array} \right]$$

第四步：暂时不管包含主元位置的行以及它上面的各行，对剩下的子矩阵使用上述的三个步骤直到没有非零行需要处理为止。

$$\left[ \begin{array}{rrrrrr} \mathbf{3} & -9 & 12 & -9 & 6 & 15 \\ 0 & 2 & -4 & 4 & 2 & -6 \\ 0 & 0 & 0 & 0 & \mathbf{1} & 4 \end{array} \right]$$

第五步：由最右边的主元开始，把每个主元上方的各元素变为0，若某个主元不是1，用倍乘变换将其变为1。

$$\left[ \begin{array}{rrrrrr} 1 & 0 & -2 & 3 & 0 & -24 \\ 0 & 1 & -2 & 2 & 0 & -7 \\ 0 & 0 & 0 & 0 & 1 & 4 \end{array} \right]$$

1.2.4 线性方程组的解

行简化算法应用于方程组的增广矩阵的时候，可以得到线性方程组解集的一种显示表示法。

我们先引入基本变量和自由变量的概念：

1. 基本变量：对应于主元列的变量；
2. 自由变量：对应于非主元列的变量。

这里我们如下示例：

$$\left[ \begin{array}{rrrr} 1 & 0 & -5 & 1 \\ 0 & 1 & 1 & 4 \\ 0 & 0 & 0 & 0 \end{array} \right]$$

这里我们转换为方程组来表示为：

$$\begin{aligned} x_1-5x_3&=1 \\ x_2+x_3&=4 \end{aligned}$$

这里 $x_1$ 和 $x_2$ 为基本变量，$x_3$ 为自由变量。

只要一个线性方程组是相容的，其解集就可以显示表示，可以如下形式表示通解：

$$\left\{ \begin{aligned} x_1 &= 1 + 5x_3 \\ x_2 &= 4 - x_3 \\ x_3 &\text{ 是自由变量} \end{aligned} \right.$$

1.2.5 解集的参数表示

如式子 (1.14) 形式就是解集的参数表示，其中自由变量作为参数。解方程组就是要求出解集的这种参数表示或确定它无解。

当方程组不相容的时候，无论是否有自由变量，解集都是空集。

1.2.6 存在性与唯一性问题

线性方程组相容的充分必要条件是增广矩阵的最右列不是主元列，也就是说，增广矩阵的阶梯形没有形如：

$$[0 \quad \cdots \quad 0 \quad b]，b\neq 0$$

的行。若线性方程组是相容的，则它的解集有如下两种情况：

1. 当没有自由变量的时候，有唯一解；
2. 当有自由变量的时候，有无穷多解。

以下是求解线性方程组的步骤：

1. 写出方程组的增广矩阵；
2. 用行化简法将增广矩阵化为阶梯形，确定方程组是否相容，如果没有解就停止；否则进行下一步；
3. 继续行化简算法得到它的简化阶梯形；
4. 写出由第 3 步所得矩阵对应的方程组；
5. 把第 4 步所得的每个非零方程改写为用任意自由变量表示其基本变量的形式。

1.3 向量方程

1.3.1 向量的基本概念

在线性代数中，向量是一个有序数组，可以表示为：

$$\mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

其中 $v_1, v_2, \ldots, v_n$ 是向量 $\mathbf{v}$ 的分量。在 $\mathbb{R}^n$ 中，向量有 $n$ 个分量。

这里解释一下 $\mathbb{R}^n$ 的含义：表示 $n$ 维实数空间，其中的向量有 $n$ 个分量，每个分量都是实数。

所有元素都是零的向量称为零向量，记为 $\mathbf{0}$。

1.3.2 向量的运算

向量加法：两个向量相加，对应分量相加。

$$\mathbf{u} + \mathbf{v} = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix} + \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} = \begin{bmatrix} u_1 + v_1 \\ u_2 + v_2 \\ \vdots \\ u_n + v_n \end{bmatrix}$$

标量乘法：向量乘以标量，每个分量都乘以该标量。

$$c\mathbf{v} = c\begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} = \begin{bmatrix} cv_1 \\ cv_2 \\ \vdots \\ cv_n \end{bmatrix}$$

向量加法满足以下性质：

1. 交换律：$\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u}$
2. 结合律：$(\mathbf{u} + \mathbf{v}) + \mathbf{w} = \mathbf{u} + (\mathbf{v} + \mathbf{w})$

标量乘法满足以下性质：

1. $c(d\mathbf{v}) = (cd)\mathbf{v}$
2. $(c+d)\mathbf{v} = c\mathbf{v} + d\mathbf{v}$
3. $c(\mathbf{u} + \mathbf{v}) = c\mathbf{u} + c\mathbf{v}$

1.3.3 线性组合

给定向量 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 和标量 $c_1, c_2, \ldots, c_p$，表达式

$$c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_p\mathbf{v}_p$$

称为向量 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 的线性组合，其中 $c_1, c_2, \ldots, c_p$ 为权重或系数。

这里我们引入一道例题来分析存在性问题：

例题

设

$$a_1 = \begin{bmatrix} 1 \\ -2 \\ -5 \end{bmatrix}, \quad a_2 = \begin{bmatrix} 2 \\ 5 \\ 6 \end{bmatrix}, \quad b = \begin{bmatrix} 7 \\ 4 \\ -3 \end{bmatrix}$$

确定 $b$ 是否能写成 $\mathbf{a_1}$ 和 $\mathbf{a_2}$ 的线性组合，也就是说，确定是否存在权 $x_1$ 和 $x_2$，使得

$$x_1 \mathbf{a_1} + x_2 \mathbf{a_2} = b$$

若向量方程有解，求它的解。

解：

首先我们将向量方程写成线性方程组的形式：

$$\begin{aligned} x_1 + 2x_2 &= 7 \\ -2x_1 + 5x_2 &= 4 \\ -5x_1 + 6x_2 &= -3 \end{aligned}$$

然后写出对应的增广矩阵：

$$\begin{bmatrix} 1 & 2 & 7 \\ -2 & 5 & 4 \\ -5 & 6 & -3 \end{bmatrix}$$

我们使用行简化算法将其化为简化阶梯形：

$$\begin{bmatrix} 1 & 0 & 3 \\ 0 & 1 & 2 \\ 0 & 0 & 0 \end{bmatrix}$$

这里说明有唯一解为：

$$x_1 = 3, \quad x_2 = 2$$

因此我们可以得出以下结论：

向量方程

$$x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n = \mathbf{b}$$

和增广矩阵为

$$\begin{bmatrix} \mathbf{a}_1 & \mathbf{a}_2 & \cdots & \mathbf{a}_n & \mathbf{b} \end{bmatrix}$$

的线性方程组有相同的解集。特别地，$\mathbf{b}$ 可以表示为 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$ 的线性组合且当且仅当对应于上式的线性方程组有解。

1.3.4 张成空间

给定向量 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$，所有这些向量的线性组合的集合称为由 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 张成的张成空间，记作 $\text{Span}\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\}$。也就是说，$\text{Span}\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\}$是所有形如

$$c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_p\mathbf{v}_p$$

的向量的集合，其中 $c_1, c_2, \ldots, c_p$ 为标量。

要判断向量 $\mathbf{b}$ 是否在张成空间 $\text{Span}\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\}$ 中，只需要判断向量方程

$$x_1\mathbf{v}_1 + x_2\mathbf{v}_2 + \cdots + x_p\mathbf{v}_p = \mathbf{b}$$

是否有解即可，或者等价地，我们判断增广矩阵为

$$\begin{bmatrix} \mathbf{v}_1 & \mathbf{v}_2 & \cdots & \mathbf{v}_p & \mathbf{b} \end{bmatrix}$$

的线性方程组是否有解即可。

注意：$\text{Span}\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\}$ 包含了 $\mathbf{v_i}$ 的所有倍数，因为

$$c_i\mathbf{v_i}=c_i\mathbf{v_i} + 0\mathbf{v_1} + \cdots + 0\mathbf{v_{i-1}} + 0\mathbf{v_{i+1}} + \cdots + 0\mathbf{v_p}$$

特别地，一定包含零向量。

这里我们还给出$\text{Span}\{\mathbf{v}\}$和$\text{Span}\{\mathbf{u,v}\}$的几何解释：

设$\mathbf{v}$是$\mathbb{R}^3$中的一个非零向量，则$\text{Span}\{\mathbf{v}\}$是通过原点和$\mathbf{v}$的直线上所有点的集合，如下图所示：

设$\mathbf{u}$和$\mathbf{v}$是$\mathbb{R}^3$中的两个不共线的非零向量，则$\text{Span}\{\mathbf{u,v}\}$是通过原点、$\mathbf{u}$和$\mathbf{v}$的平面上所有点的集合，如下图所示：

例题

设 $\mathbf{a}_1=\begin{bmatrix}1\\-2\\3\end{bmatrix}$，$\mathbf{a}_2=\begin{bmatrix}5\\-13\\-3\end{bmatrix}$，$\mathbf{b}=\begin{bmatrix}-3\\8\\1\end{bmatrix}$，则 $\operatorname{Span}\left\{\mathbf{a}_1,\mathbf{a}_2\right\}$ 是 $\mathbb{R}^{3}$ 中通过原点的一个平面，问 $\mathbf{b}$ 是否在该平面上？

解：

我们判断向量方程

$$x_1\mathbf{a}_1 + x_2\mathbf{a}_2 = \mathbf{b}$$

是否有解即可，或者等价地，我们判断增广矩阵为

$$\begin{bmatrix} \mathbf{a}_1 & \mathbf{a}_2 & \mathbf{b} \end{bmatrix}$$

的线性方程组是否有解即可。

这里我们代入增广矩阵并进行化简：

$$\begin{bmatrix} 1 & 5 & -3 \\ -2 & -13 & 8 \\ 3 & -3 & 1 \end{bmatrix}$$

化简为阶梯形如下：

$$\begin{bmatrix} 1 & 5 & -3 \\ 0 & -3 & 2 \\ 0 & 0 & -2 \end{bmatrix}$$

明显看出向量方程无解，因此 $\mathbf{b}$ 不在 $\operatorname{Span}\left\{\mathbf{a}_1,\mathbf{a}_2\right\}$ 中。

1.3.5 向量方程与线性方程组的等价性

考虑向量方程：

$$x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n = \mathbf{b}$$

其中 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$ 和 $\mathbf{b}$ 是 $\mathbb{R}^m$ 中的向量，$x_1, x_2, \ldots, x_n$ 是未知数。

这个向量方程等价于一个 $m \times n$ 的线性方程组。如果我们将向量 $\mathbf{a}_j$ 表示为：

$$\mathbf{a}_j = \begin{bmatrix} a_{1j} \\ a_{2j} \\ \vdots \\ a_{mj} \end{bmatrix}$$

那么向量方程可以写成：

$$x_1\begin{bmatrix} a_{11} \\ a_{21} \\ \vdots \\ a_{m1} \end{bmatrix} + x_2\begin{bmatrix} a_{12} \\ a_{22} \\ \vdots \\ a_{m2} \end{bmatrix} + \cdots + x_n\begin{bmatrix} a_{1n} \\ a_{2n} \\ \vdots \\ a_{mn} \end{bmatrix} = \begin{bmatrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{bmatrix}$$

这等价于线性方程组：

$$\begin{aligned} a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n &= b_1 \\ a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n &= b_2 \\ \vdots \\ a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n &= b_m \end{aligned}$$

1.3.6 向量方程的几何解释

向量方程 $x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n = \mathbf{b}$ 有解的充分必要条件是 $\mathbf{b}$ 可以表示为 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$ 的线性组合，即 $\mathbf{b}$ 在由 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$ 张成的向量空间中。

从几何角度看：

• 在 $\mathbb{R}^2$ 中，两个不共线的向量可以张成整个平面
• 在 $\mathbb{R}^3$ 中，三个不共面的向量可以张成整个空间

1.3.7 齐次向量方程

当 $\mathbf{b} = \mathbf{0}$ 时，向量方程 $x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n = \mathbf{0}$ 称为齐次向量方程。

齐次向量方程总是有平凡解 $x_1 = x_2 = \cdots = x_n = 0$。如果存在非零解，则称向量 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$ 是线性相关的；否则，称它们是线性无关的。

1.4 矩阵方程 Ax=b

1.4.1 向量方程和矩阵方程

定义：

设 $A$ 是一个 $m \times n$ 矩阵，它的各列为 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$，则 $A$ 与 $\mathbf{x}$ 的积（记为 $A\mathbf{x}$）就是 $A$ 的各列以 $\mathbf{x}$ 中对应元素为权的线性组合，即

$$A\mathbf{x} = \begin{bmatrix} \mathbf{a}_1 & \mathbf{a}_2 & \cdots & \mathbf{a}_n \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} = x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n$$

注意这里 $A\mathbf{x}$ 当且仅当 $A$ 的列数等于 $\mathbf{x}$ 的行数时才有定义。

形式如 $x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n = \mathbf{b}$ 的方程我们称为向量方程。

形式如 $A\mathbf{x}=\mathbf{b}$ 的方程我们称为矩阵方程。’

定理1：
若 $A$ 是 $m \times n$ 矩阵，它的各列为 $\boldsymbol{a}_{1}, \cdots, \boldsymbol{a}_{n}$，而 $\boldsymbol{b}$ 属于 $\mathbb{R}^{m}$，则矩阵方程

$$A\boldsymbol{x} = \boldsymbol{b}$$

与向量方程

$$x_{1}\boldsymbol{a}_{1} + x_{2}\boldsymbol{a}_{2} + \cdots + x_{n}\boldsymbol{a}_{n} = \boldsymbol{b}$$

有相同的解集。它又与增广矩阵为

$$\left[\begin{array}{llll} \boldsymbol{a}_{1} & \boldsymbol{a}_{2} & \cdots & \boldsymbol{a}_{n} & \boldsymbol{b} \end{array}\right]$$

的线性方程组有相同的解集。

1.4.2 解的存在性

方程 $A\mathbf{x}=\mathbf{b}$ 有解当且仅当 $\mathbf{b}$ 可以表示为 $A$ 的各列的线性组合。

定理2：

设 $A$ 是 $m \times n$ 矩阵，则下列命题是逻辑上等价的（即对某个 $A$，它们都成立或都不成立）：

1. 对 $\mathbb{R}^{m}$ 中每个 $\boldsymbol{b}$，方程 $A\boldsymbol{x} = \boldsymbol{b}$ 有解。
2. $\mathbb{R}^{m}$ 中的每个 $\boldsymbol{b}$ 都是 $A$ 的列的一个线性组合。
3. $A$ 的各列生成 $\mathbb{R}^{m}$。
4. $A$ 在每一行都有一个主元位置。

注意：这里讨论的是系数矩阵而非增广矩阵。如果是对应增广矩阵，如果每一行都有一个主元位置，并不一定有解。

1.4.3 Ax 的计算

若乘积 $A\mathbf{x}$ 有定义，则 $A\mathbf{x}$ 的第 $i$ 个分量是矩阵 $A$ 的第 $i$ 行与列向量 $\mathbf{x}$ 的点积。

这里需要注意，如果 $A=I$，即为单位阵，这时候 $A\mathbf{x} = \mathbf{x}$。

1.4.4 矩阵-向量积 Ax 的性质

设 $A$ 是 $m \times n$ 矩阵，$\mathbf{u}$ 和 $\mathbf{v}$ 是 $n$ 维向量，$c$ 是标量，则

$$A(\mathbf{u} + \mathbf{v}) = A\mathbf{u} + A\mathbf{v} \\ A(c\mathbf{u}) = cA\mathbf{u}$$

1.5 线性方程组的解集

1.5.1 齐次线性方程组

齐次线性方程组是形如 $A\mathbf{x} = \mathbf{0}$ 的方程组，其中 $A$ 是一个 $m \times n$ 矩阵，$\mathbf{x}$ 是 $n$ 维向量，$\mathbf{0}$ 是 $\mathbb{R}^m$ 中的零向量。

齐次线性方程组的一个重要性质是它总是有解，至少有零解（或称为平凡解）$\mathbf{x} = \mathbf{0}$。

定理3： 齐次线性方程组 $A\mathbf{x} = \mathbf{0}$ 有非平凡解的充分必要条件是方程组中的自由变量至少有一个，或等价地，$A$ 的列数大于行秩（即 $n > r$，其中 $r$ 是 $A$ 的秩）。

注意：非平凡解向量 $\mathbf{x}$ 可能会有一些零元素，但只要不是全为零，就称为非平凡解。

强调：齐次方程 $A\mathbf{x} = \mathbf{0}$ 总可以表示为张成空间的形式，即

$$\text{Nul}(A) = \text{span}\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\}$$

这里 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 是 $A\mathbf{x} = \mathbf{0}$ 的一组基，$p$ 是 $A$ 的零空间的维度，也称为 $A$ 的零度（nullity），满足 $p = n - r$，其中 $n$ 是 $A$ 的列数，$r$ 是 $A$ 的行秩。

齐次方程通解的参数向量形式为：

$$\mathbf{x} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_p\mathbf{v}_p$$

其中 $c_1, c_2, \ldots, c_p$ 是任意常数。

1.5.2 非齐次线性方程组

非齐次线性方程组是形如 $A\mathbf{x} = \mathbf{b}$ 的方程组，其中 $\mathbf{b} \neq \mathbf{0}$。

非齐次线性方程组的解集可以表示为：

$$\{\mathbf{p} + \mathbf{v} : \mathbf{v} \in \text{Nul}(A)\}$$

其中 $\mathbf{p}$ 是非齐次方程组的一个特解，$\text{Nul}(A)$ 是对应齐次方程组 $A\mathbf{x} = \mathbf{0}$ 的解集，也称为 $A$ 的零空间。

定理4： 如果 $\mathbf{p}$ 是非齐次线性方程组 $A\mathbf{x} = \mathbf{b}$ 的一个特解，而 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 构成对应齐次方程组 $A\mathbf{x} = \mathbf{0}$ 解空间的一组基，则 $A\mathbf{x} = \mathbf{b}$ 的通解可以表示为：

$$\mathbf{x} = \mathbf{p} + c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_p\mathbf{v}_p$$

其中 $c_1, c_2, \ldots, c_p$ 是任意常数。

1.5.3 解集的参数表示

线性方程组的解集可以用参数表示。对于齐次线性方程组，解集可以表示为：

$$\mathbf{x} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_p\mathbf{v}_p$$

其中 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 是零空间的一组基，$c_1, c_2, \ldots, c_p$ 是任意常数。

对于非齐次线性方程组，解集可以表示为：

$$\mathbf{x} = \mathbf{p} + c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_p\mathbf{v}_p$$

其中 $\mathbf{p}$ 是一个特解。

1.5.4 解集的几何解释

线性方程组的解集在几何上有直观的解释：

• 对于齐次线性方程组 $A\mathbf{x} = \mathbf{0}$，解集是一个过原点的子空间。

  • 如果只有零解，则解集仅为原点。
  • 如果有一个自由变量，解集是一条过原点的直线。
  • 如果有两个自由变量，解集是一个过原点的平面。
  • 依此类推。

• 对于非齐次线性方程组 $A\mathbf{x} = \mathbf{b}$，解集是一个不过原点的仿射子空间（即平行于某个子空间的平面）。

  • 如果对应的齐次方程组只有零解，则解集是一个点。
  • 如果对应的齐次方程组有一个自由变量，解集是一条不过原点的直线。
  • 如果对应的齐次方程组有两个自由变量，解集是一个不过原点的平面。
  • 依此类推。

1.5.5 例题

例题1： 求解线性方程组

$$\begin{aligned} x_1 - 2x_2 + x_3 &= 4 \\ 2x_1 - 5x_2 + 2x_3 &= 7 \\ x_1 - 4x_2 + 3x_3 &= 10 \end{aligned}$$

解： 首先写出增广矩阵并进行行简化：

$$\begin{bmatrix} 1 & -2 & 1 & 4 \\ 2 & -5 & 2 & 7 \\ 1 & -4 & 3 & 10 \end{bmatrix}$$

通过行变换将其化为简化阶梯形：

$$\begin{bmatrix} 1 & -2 & 1 & 4 \\ 0 & -1 & 0 & -1 \\ 0 & 0 & 1 & 3 \end{bmatrix}$$

从简化阶梯形可以得到：

$$\begin{aligned} x_1 - 2x_2 + x_3 &= 4 \\ -x_2 &= -1 \\ x_3 &= 3 \end{aligned}$$

解得：$x_2 = 1$，$x_3 = 3$，代入第一个方程得 $x_1 - 2 \cdot 1 + 3 = 4$，即 $x_1 = 3$。

因此，方程组的唯一解为 $x_1 = 3$，$x_2 = 1$，$x_3 = 3$，或写成向量形式 $\mathbf{x} = \begin{bmatrix} 3 \\ 1 \\ 3 \end{bmatrix}$。

例题2： 求解齐次线性方程组

$$\begin{aligned} x_1 - 3x_2 + x_3 &= 0 \\ 2x_1 - 6x_2 + 2x_3 &= 0 \\ -x_1 + 3x_2 - x_3 &= 0 \end{aligned}$$

解： 首先写出增广矩阵并进行行简化：

$$\begin{bmatrix} 1 & -3 & 1 & 0 \\ 2 & -6 & 2 & 0 \\ -1 & 3 & -1 & 0 \end{bmatrix}$$

通过行变换将其化为简化阶梯形：

$$\begin{bmatrix} 1 & -3 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix}$$

从简化阶梯形可以得到：

$$x_1 - 3x_2 + x_3 = 0$$

这里 $x_2$ 和 $x_3$ 是自由变量，可以任意取值。令 $x_2 = s$ 和 $x_3 = t$，则 $x_1 = 3s - t$。

因此，方程组的通解对应的参数向量形式为：

$$\mathbf{x} = \begin{bmatrix} 3s - t \\ s \\ t \end{bmatrix} = s\begin{bmatrix} 3 \\ 1 \\ 0 \end{bmatrix} + t\begin{bmatrix} -1 \\ 0 \\ 1 \end{bmatrix}$$

其中 $s$ 和 $t$ 是任意实数。

这里我们令 $\mathbf{u}=\begin{bmatrix} 3 \\ 1 \\ 0 \end{bmatrix}$，$\mathbf{v}=\begin{bmatrix} -1 \\ 0 \\ 1 \end{bmatrix}$，平凡解只需要 $s=0$ 且 $t=0$ 即可。

几何意义下，解集是$\mathbb{R}^3$中过原点的平面，即为$\text{Span}\{\mathbf{u},\mathbf{v}\}$，$\mathbf{u}$ 和 $\mathbf{v}$ 是该平面的一组基向量。

1.6 线性无关

1.6.1 线性无关的定义

定义：

设 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 是 $\mathbb{R}^n$ 中的一组向量，如果方程 $c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_p\mathbf{v}_p = \mathbf{0}$ 的唯一解是 $c_1 = c_2 = \cdots = c_p = 0$（即仅有平凡解），则称向量 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 是线性无关的；否则，称它们是线性相关的。

这里也可以理解为，如果矩阵方程 $A\mathbf{x}=\mathbf{0}$ 只有平凡解，那么矩阵 $A$ 的各列是线性无关的。

1.6.2 矩阵各列的线性无关

定理5：

设 $A$ 是 $m \times n$ 矩阵，它的各列为 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$，则下列命题是逻辑上等价的（即对某个 $A$，它们都成立或都不成立）：

1. 矩阵方程 $A\mathbf{x} = \mathbf{0}$ 仅有平凡解。
2. 向量方程 $x_1\mathbf{a}_1 + x_2\mathbf{a}_2 + \cdots + x_n\mathbf{a}_n = \mathbf{0}$ 仅有平凡解。
3. 向量 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n$ 是线性无关的。

1.6.3 一个或两个向量的集合

定理6：

仅含一个向量的集合线性无关当且仅当该向量非零。因为当 $\mathbf{v} \neq \mathbf{0}$ 时，向量方程 $x_1\mathbf{v} = \mathbf{0}$ 的唯一解是 $x_1 = 0$。而零向量是线性相关的 ，因为向量方程 $0\mathbf{0} = \mathbf{0}$ 有非平凡解 $x_1 = 1$。

定理7：

两个向量 $\mathbf{v}_1, \mathbf{v}_2$ 是线性无关的当且仅当 $\mathbf{v}_1$ 不是 $\mathbf{v}_2$ 的倍数。

我们从几何意义上看，两个向量线性相关，当且仅当它们落在通过原点的同一直线上，如下图所示：

1.6.4 两个或更多向量的集合

定理8：

设 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 是 $\mathbb{R}^n$ 中的一组向量，集合 $S=\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p\}$ 线性相关，当且仅当 $S$ 中至少有一个向量是其他向量的线性组合。事实上，若 $S$ 线性相关，且 $\mathbf{v_1} \neq \mathbf{0}$，则某个向量 $\mathbf{v_j}(j>1)$ 是它前面向量 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_{j-1}$ 的线性组合。

证明：

设 $S = \{\boldsymbol{v}_1, \boldsymbol{v}_2, \ldots, \boldsymbol{v}_p\}$ 为向量集合，则：

1. ​充分性证明​
   若存在 $\boldsymbol{v}_j$ 可表示为其他向量的线性组合，即

   $$\boldsymbol{v}_j = \sum_{i \neq j} c_i \boldsymbol{v}_i \quad (c_i \in \mathbb{R})$$

   通过移项可得非平凡线性关系：

   $$(-1)\boldsymbol{v}_j + \sum_{i \neq j} c_i \boldsymbol{v}_i = \boldsymbol{0}$$

   故 $S$ 线性相关。

2. ​必要性证明​
   若 $S$ 线性相关，则存在不全为零的标量 $c_1, \ldots, c_p$ 使得：

   $$\sum_{i=1}^p c_i \boldsymbol{v}_i = \boldsymbol{0}$$

   • ​情形1​：若 $\boldsymbol{v}_1 = \boldsymbol{0}$，则 $\boldsymbol{v}_1$ 可平凡表示为其他向量的线性组合（系数全零）且此时 $c_1 \neq 0$。
   • ​情形2​：若 $\boldsymbol{v}_1 \neq \boldsymbol{0}$，设 $j$ 是最大下标使得 $c_j \neq 0$：
     • 当 $j=1$ 时，$c_1 \boldsymbol{v}_1 = \boldsymbol{0}$ 与 $\boldsymbol{v}_1 \neq \boldsymbol{0}$ 矛盾；
     • 当 $j>1$ 时，可解出 $\boldsymbol{v}_j$ 为前 $j-1$ 个向量的线性组合：

       $$\boldsymbol{v}_j = -\sum_{i=1}^{j-1} \frac{c_i}{c_j} \boldsymbol{v}_i$$

定理9：

若一个向量组的向量个数超过每个向量的元素个数，那么这个向量组线性相关，就是说，$\mathbb{R}^n$ 中任意向量组 $\{ \mathbf{v_1, \ldots, v_{n+1}} \}$ 当满足 $p>n$ 时线性相关。

这里理解为：如果满足定理要求，则线性方程组中未知数个数大于方程个数，因此有无数个非平凡解。

定理10：

若 $\mathbb{R}^n$ 中向量组 $\{ \mathbf{v_1, \ldots, v_p} \}$ 包含零向量，则它线性相关。

1.7 线性变换介绍

1.7.1 线性变换的定义

线性变换是一种特殊的函数，它将一个向量空间的元素映射到另一个向量空间，并保持向量加法和标量乘法的性质。

设 $T: \mathbb{R}^n \rightarrow \mathbb{R}^m$ 是一个函数，如果对于 $\mathbb{R}^n$ 中的任意向量 $\mathbf{u}$ 和 $\mathbf{v}$ 以及任意标量 $c$，满足以下两个条件：

1. $T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})$（加法保持性）
2. $T(c\mathbf{u}) = cT(\mathbf{u})$（标量乘法保持性）

则称 $T$ 为从 $\mathbb{R}^n$ 到 $\mathbb{R}^m$ 的线性变换。

这里我们称 $\mathbb{R}^n$ 为定义域，而 $\mathbb{R}^m$ 为余定义域（也称为取值空间）。

这里也很容易推出以下两条重要性质：

1. 若 $T$ 是线性变换，则 $T(\mathbf{0}) = \mathbf{0}$；
2. 且对 $T$ 定义域中一切向量 $\mathbf{u}$ 和 $\mathbf{v}$ 以及任意标量 $c$ 和 $d$，有 $T(c\mathbf{u} + d\mathbf{v}) = cT(\mathbf{u}) + dT(\mathbf{v})$。

进一步推广我们可以得到叠加原理：

设 $T: \mathbb{R}^n \rightarrow \mathbb{R}^m$ 是线性变换，则对 $\mathbb{R}^n$ 中的任意向量 $\mathbf{u}_1, \mathbf{u}_2, \ldots, \mathbf{u}_p$，以及标量 $c_1, c_2, \ldots, c_p$，有

$$T(c_1\mathbf{u}_1 + c_2\mathbf{u}_2 + \cdots + c_p\mathbf{u}_p) = c_1T(\mathbf{u}_1) + c_2T(\mathbf{u}_2) + \cdots + c_pT(\mathbf{u}_p)$$

1.7.2 线性变换的矩阵表示

定理11：

每个从 $\mathbb{R}^n$ 到 $\mathbb{R}^m$ 的线性变换 $T$ 都可以用一个 $m \times n$ 的矩阵 $A$ 来表示，使得对于 $\mathbb{R}^n$ 中的任意向量 $\mathbf{x}$，都有：

$$T(\mathbf{x}) = A\mathbf{x}$$

矩阵 $A$ 的列向量可以通过计算标准基向量的像来确定：

$$A = \begin{bmatrix} T(\mathbf{e}_1) & T(\mathbf{e}_2) & \cdots & T(\mathbf{e}_n) \end{bmatrix}$$

其中 $\mathbf{e}_j$ 是 $\mathbb{R}^n$ 中的第 $j$ 个标准基向量（第 $j$ 个分量为 1，其余分量为 0），即对应于单位矩阵 $I_n$ 的第 $j$ 列。

​证明​
记 $\boldsymbol{x} = I_n \boldsymbol{x} = [\boldsymbol{e}_1 \cdots \boldsymbol{e}_n] \boldsymbol{x} = x_1 \boldsymbol{e}_1 + \cdots + x_n \boldsymbol{e}_n$，由于 $T$ 是线性变换，可得：

$$\begin{aligned} T(\boldsymbol{x}) &= T(x_1 \boldsymbol{e}_1 + \cdots + x_n \boldsymbol{e}_n) \\ &= x_1 T(\boldsymbol{e}_1) + \cdots + x_n T(\boldsymbol{e}_n) \\ &= \left[ T(\boldsymbol{e}_1) \cdots T(\boldsymbol{e}_n) \right] \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} \\ &= A \boldsymbol{x} \end{aligned}$$

例题：

​例3​
设 $T:\mathbb{R}^2 \rightarrow \mathbb{R}^2$ 为将 $\mathbb{R}^2$ 中每个点绕原点逆时针旋转角度 $\varphi$ 的变换。通过几何分析可证明这是线性变换（参见图1-39）。求该变换的标准矩阵。

​解​

1. 基向量旋转结果：
   • $\begin{bmatrix}1\\0\end{bmatrix}$ 旋转后为 $\begin{bmatrix}\cos\varphi\\\sin\varphi\end{bmatrix}$
   • $\begin{bmatrix}0\\1\end{bmatrix}$ 旋转后为 $\begin{bmatrix}-\sin\varphi\\\cos\varphi\end{bmatrix}$

2. 由定理11​（线性变换的标准矩阵构造法），直接得到：

   $$A = \begin{bmatrix} \cos\varphi & -\sin\varphi \\ \sin\varphi & \cos\varphi \end{bmatrix}$$

1.7.3 线性变换的几何解释

线性变换可以从几何角度理解为对向量空间的一种变形，它保持了向量间的线性关系。以下是一些常见线性变换的几何解释：

1. 伸缩变换：将向量沿着某个方向拉伸或压缩。
   例如，矩阵 $\begin{bmatrix} 2 & 0 \\ 0 & 3 \end{bmatrix}$ 表示在 $x$ 方向上拉伸为原来的 2 倍，在 $y$ 方向上拉伸为原来的 3 倍。

2. 旋转变换：将向量绕原点旋转一定角度。
   例如，矩阵 $\begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix}$ 表示将向量逆时针旋转 $\theta$ 角度。

3. 投影变换：将向量投影到某个子空间上。
   例如，矩阵 $\begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix}$ 表示将向量投影到 $x$ 轴上。

4. 反射变换：将向量关于某个子空间反射。
   例如，矩阵 $\begin{bmatrix} 1 & 0 \\ 0 & -1 \end{bmatrix}$ 表示将向量关于 $x$ 轴反射。

5. 剪切变换：将向量沿着某个方向剪切。
   例如，矩阵 $\begin{bmatrix} 1 & k \\ 0 & 1 \end{bmatrix}$ 表示将向量沿 $x$ 方向剪切，剪切因子为 $k$。

更详细的描述见下表展示：

1.7.4 线性变换的存在性与唯一性问题

定义：

映射 $T$：若 $\mathbb{R}^m$ 中每个 $\mathbf{b}$ 是 $\mathbb{R}^n$ 中至少一个的像，则$\mathbb{R}^n \rightarrow \mathbb{R}^m$ 称为到 $\mathbb{R}^m$ 上的映射（也称为满射）。

我们也根据判断 $T$ 的值域是否是整个余定义域 $\mathbb{R}$ 来判断是否是满射，如下图所示更清晰一点：

定义：

映射 $T$：若 $\mathbb{R}^m$ 中每个 $\mathbf{b}$ 是 $\mathbb{R}^n$ 中至多一个的像，则$\mathbb{R}^n \rightarrow \mathbb{R}^m$ 称为到 $\mathbb{R}^m$ 的单射（也称为一对一映射）。

定理12：

设 $T: \mathbb{R}^n \rightarrow \mathbb{R}^m$ 是线性变换，则 $T$ 是单射当且仅当方程 $A\mathbf{x}=\mathbf{0}$ 仅有平凡解。

​**证明：**​

1. 充分性：因 $T$ 是线性的，故 $T(\boldsymbol{0}) = T(0\mathbf{x}) = 0T(\mathbf{x}) = \boldsymbol{0}$。

2. 必要性：

   • 若 $T$ 是一对一的​
     • 则方程 $T(\boldsymbol{x}) = \boldsymbol{0}$ 至多有一个解，因此仅有平凡解 $\boldsymbol{x} = \boldsymbol{0}$。
   • 若 $T$ 不是一对一的​
     • 存在 $\mathbb{R}^n$ 中两个相异向量 $\boldsymbol{u}$ 和 $\boldsymbol{v}$，使得 $T(\boldsymbol{u}) = \boldsymbol{b}$，$T(\boldsymbol{v}) = \boldsymbol{b}$。
     • 由线性性可得：

     $$T(\boldsymbol{u} - \boldsymbol{v}) = T(\boldsymbol{u}) - T(\boldsymbol{v}) = \boldsymbol{b} - \boldsymbol{b} = \boldsymbol{0}$$

     这里又因为 $T$ 是线性的且方程 $A\mathbf{x}=\mathbf{0}$ 仅有平凡解，所以向量 $\mathbf{u-v} = \mathbf{0}$，即 $\mathbf{u} = \mathbf{v}$，这与假设矛盾。