绪、讨论线性方程组解的情况

对于线性方程组 $\boldsymbol A \boldsymbol x = \boldsymbol b$ 而言($\boldsymbol A \in {\mathbb C}^{R \times C}$),解的情况列出如下:

线性方程组通解的结构如下:

一、减号逆与线性方程组的通解

1. 幂等矩阵的重要性质

对于任意满足 $\boldsymbol Y^2 = \boldsymbol Y$ 的幂等方阵 $\boldsymbol Y \in {\mathbb C}^{N \times N}$,其一个重要的性质是 ${\rm r} (\boldsymbol Y -\boldsymbol I) = N - {\rm r} (\boldsymbol Y)$ 。

证明

2. 减号逆与齐次方程组的通解

对于任意齐次方程组 $\boldsymbol A \boldsymbol x = \boldsymbol 0$,对于 $\boldsymbol A \in {\mathbb C}^{R \times C}$,作其任意一个减号逆 $\boldsymbol G \in {\mathbb C}^{C \times R}$,有 $\boldsymbol A \boldsymbol G \boldsymbol A = \boldsymbol A$。现在要证明 ${\rm r}(\boldsymbol I - \boldsymbol G \boldsymbol A) = C - {\rm r}(\boldsymbol A)$,即 $\boldsymbol I - \boldsymbol G \boldsymbol A$ 的列生成空间与 $\boldsymbol A$ 的核空间同构

证明

然后证明 $\boldsymbol I -\boldsymbol G \boldsymbol A$ 是一个像集为 $\boldsymbol A$ 的核空间线性映射:$\forall \, \boldsymbol t \in {\mathbb C}^{C}$,$\boldsymbol \xi(\boldsymbol t) = (\boldsymbol I -\boldsymbol G \boldsymbol A) \boldsymbol t$ 是齐次方程 $\boldsymbol A \boldsymbol x = \boldsymbol 0$ 的解。

证明

$\boldsymbol A (\boldsymbol \xi(\boldsymbol t)) = \boldsymbol A (\boldsymbol I -\boldsymbol G \boldsymbol A) \boldsymbol t = (\boldsymbol A - \boldsymbol A \boldsymbol G \boldsymbol A) \boldsymbol t = \boldsymbol 0$。

最后证明此映射是一个满射:$\forall \, \boldsymbol \xi^* \, {\rm s.t. } \, \boldsymbol A \boldsymbol \xi^* = \boldsymbol 0, \ \exists \, \boldsymbol t^* \in {\mathbb C}^{C} \, {\rm s.t.} \, \boldsymbol \xi^* = (\boldsymbol I - \boldsymbol G \boldsymbol A) \boldsymbol t^*$。

证明

$\forall \, \boldsymbol \xi^* \, {\rm s.t. } \, \boldsymbol A \boldsymbol \xi^* = \boldsymbol 0$,构造 $\boldsymbol t^* = \boldsymbol \xi^*$,即有:

$(\boldsymbol I - \boldsymbol G \boldsymbol A) \boldsymbol t^* = (\boldsymbol I - \boldsymbol G \boldsymbol A) \boldsymbol \xi^* = \boldsymbol \xi^* - \boldsymbol G \boldsymbol A \boldsymbol \xi^* = \boldsymbol \xi^* - \boldsymbol G \boldsymbol0 = \boldsymbol \xi^*$。

结论:$\boldsymbol I - \boldsymbol G \boldsymbol A$ 的列生成空间即为 $\boldsymbol A$ 的解空间,同时它作为线性变换能将任意 $\boldsymbol t \in {\mathbb C}^C$ 映射为 $\boldsymbol A \boldsymbol x = \boldsymbol 0$ 的解,且是一个满射。于是 $\boldsymbol \xi(\boldsymbol t) = (\boldsymbol I -\boldsymbol G \boldsymbol A) \boldsymbol t$ 又被称作由 $\boldsymbol G$ 引出的齐次通解

3. 减号逆与线性方程组的特解和通解

对于任意相容的线性方程组 $\boldsymbol A \boldsymbol x = \boldsymbol b$,对于 $\boldsymbol A \in {\mathbb C}^{R \times C}$,作其任意一个减号逆 $\boldsymbol G \in {\mathbb C}^{C \times R}$。首先要证明 $\boldsymbol \eta^* = \boldsymbol G \boldsymbol b$ 是此相容方程组的一个特解,称为 $\boldsymbol G$ 引出的特解

证明

相容的线性方程组一定存在解,设任意解 $\tilde {\boldsymbol x}$ 使得 $\boldsymbol A \tilde {\boldsymbol x} = \boldsymbol b$。据 $\boldsymbol A \boldsymbol G \boldsymbol A = \boldsymbol A$ 得 $\boldsymbol A \boldsymbol G \boldsymbol A \tilde {\boldsymbol x} = \boldsymbol A \tilde {\boldsymbol x}$ 即 $\boldsymbol A \boldsymbol G \boldsymbol b = \boldsymbol b$。于是显然作 $\boldsymbol \eta^* = \boldsymbol G \boldsymbol b$ 是此线性方程组的一个特解。

因而 $\forall \, \boldsymbol t \in {\mathbb C}^{C}$,此相容方程组 $\boldsymbol A \boldsymbol x = \boldsymbol b$ 的通解的结构式可以被完备地表示为(称为 $\boldsymbol G$ 引出的通解):

$$ \boldsymbol x^(\boldsymbol t) = \boldsymbol \eta^ + \boldsymbol \xi(\boldsymbol t) = \boldsymbol G \boldsymbol b + (\boldsymbol I - \boldsymbol G \boldsymbol A) \boldsymbol t $$

如果将其理解为一个映射 $\boldsymbol x^*(\boldsymbol t)$(当 $\boldsymbol b \neq \boldsymbol 0$ 时有常数项,于是是非线性的),易证它是从 ${\mathbb C}^C$ 到 $\boldsymbol A \boldsymbol x = \boldsymbol b$ 的解集满射

二、最小范数逆引出最小二范数解

1. 定义最小二范数解(Minimum-Norm Solution)