零、回顾超定方程组最小二乘解和欠定方程组最小范数解

回顾：超定方程组的最小二乘解

对于非齐次方程组 $\boldsymbol A\boldsymbol x = \boldsymbol b, \ (\boldsymbol b \neq \boldsymbol 0)$，$N$ 表示数据行数，$M$ 表示待求解变量数目，构成 $N\times M$ 矩阵 $\boldsymbol A$。如果它是一个超定方程组（通常表现为 $N > M$ 的瘦矩阵），则不存在满足所有式的解，只能说对于加入了误差向量 $\boldsymbol e$ 的下式，期望有一个最小的误差：

$$ \boldsymbol A \boldsymbol x \boldsymbol = \boldsymbol b + \boldsymbol e $$

采用最小二乘法时，需要最小化的目标函数 $E(\boldsymbol x)$，为误差向量的模长平方：

$$ E(\boldsymbol x) = \| \boldsymbol e \|^2 = \| \boldsymbol A \boldsymbol x - \boldsymbol b \|^2 $$

那么当 $\boldsymbol A^{\rm T}\boldsymbol A$ 为可逆矩阵（$\boldsymbol A$ 列满秩）时，有最小二乘解（推导详见原页面）：

$$ \boldsymbol x^* = (\boldsymbol A^{\rm T}\boldsymbol A)^{-1}\boldsymbol A^{\rm T}\boldsymbol b $$

回顾：欠定方程组的最小范数解

对于非齐次方程组 $\boldsymbol A\boldsymbol x = \boldsymbol b, \ (\boldsymbol b \neq \boldsymbol 0)$，$N$ 表示数据行数，$M$ 表示待求解变量数目，构成 $N\times M$ 矩阵 $\boldsymbol A$。如果它是一个欠定方程组（通常表现为 $N < M$ 的胖矩阵），则存在无穷个满足方程组的解，它们构成解空间。在此条件下，想要求得满足 $\boldsymbol A \boldsymbol x = \boldsymbol b$ 条件下，具备最小二范数即其平方 $\|\boldsymbol x\|^2$ 最小的解 $\boldsymbol x^*$。

那么当 $\boldsymbol A\boldsymbol A^{\rm T}$ 为可逆矩阵（$\boldsymbol A$ 行满秩）时，有最小范数解（推导详见原页面）：

$$ \boldsymbol x^* = \boldsymbol A^{\rm T}(\boldsymbol A\boldsymbol A^{\rm T})^{-1} \boldsymbol b $$

绪、广义逆矩阵的基本概念

1. Moore-Penrose 逆的定义

1920 年 Moore 首先引进广义逆矩阵这一概念，1955 年 Penrose 以更明确的形式给出了 Moore 的广义逆矩阵的定义：对任意复矩阵 $\boldsymbol A \in {\mathbb C}^{n \times m}$，如果存在复矩阵 $\boldsymbol G \in {\mathbb C}^{m \times n}$，满足：

1. $\boldsymbol A \boldsymbol G \boldsymbol A = \boldsymbol A$
2. $\boldsymbol G \boldsymbol A \boldsymbol G = \boldsymbol G$
3. $(\boldsymbol G \boldsymbol A )^{\rm H} = \boldsymbol G \boldsymbol A$
4. $(\boldsymbol A\boldsymbol G)^{\rm H} = \boldsymbol A \boldsymbol G$

则称 $\boldsymbol G$ 为 $\boldsymbol A$ 的 Moore-Penrose 广义逆（是唯一的）。

2. 几种广义逆

另，只要满足其中任一部分，即可称为广义逆（是不唯一的），比如满足上述方程 1, 3 的被记为 {1, 3} 广义逆，$\boldsymbol G \in \boldsymbol A \{ 1, 3 \}$。其中应用较多的几种广义逆：

• $\boldsymbol A^- \in \boldsymbol A \{ 1\}$：减号逆 / $g$ 逆（不唯一）。
• $\boldsymbol A_r^- \in \boldsymbol A \{ 1, 2\}$：自反减号逆（不唯一）。
• $\boldsymbol A_m ^- \in \boldsymbol A \{ 1, 3\}$：最小范数广义逆（不唯一）。
• $\boldsymbol A_l^- \in \boldsymbol A \{ 1, 4\}$：最小二乘广义逆（不唯一）。
• $\boldsymbol A^+ \in \boldsymbol A \{ 1, 2, 3, 4\}$：加号逆 / 伪逆 / Moore-Penrose 逆（唯一）。

另外，显然如果普通逆 $\boldsymbol A^{-1}$ 存在，就对上述式子全都满足，因而说广义逆是普通逆的推广。

下面讨论实数情况，容易推广到复数。即除非特殊提及，所指矩阵 $\boldsymbol A \in {\R}^{n \times m}, \boldsymbol G \in {\R}^{m \times n}$。

一、左逆和右逆（Left / Right Inverse）

1. 左逆与右逆的定义

• 如果存在 $\boldsymbol G$ 使得 $\boldsymbol G \boldsymbol A = \boldsymbol E$（$\boldsymbol A \boldsymbol G = \boldsymbol E$），称 $\boldsymbol G$ 为 $\boldsymbol A$ 的一个左逆（右逆），记为 $\boldsymbol G \in \{ \boldsymbol A_L^{-1} \}$（$\{ \boldsymbol A_R^{-1} \}$）。

2. 左逆、右逆的性质

• 矩阵的左逆 $\in \{ \boldsymbol A \{ 1, 2, 3 \} \}$，右逆 $\in \{ \boldsymbol A \{ 1, 2, 4 \} \}$。

  推导

  

• 如果存在 $\boldsymbol G$ 即是左逆又是右逆，即 $\boldsymbol G \boldsymbol A = \boldsymbol E$ 且 $\boldsymbol A \boldsymbol G = \boldsymbol E$，这种情况只能在 $\boldsymbol A, \boldsymbol G$ 均为方阵时发生，且 $\boldsymbol G = \boldsymbol A^{-1}$ 即为普通逆。

3. 列满左逆式、行满右逆式

i. 列满左逆式、行满右逆式的定义