一、向量范数与矩阵范数 · 概念篇

1. 向量范数与赋范空间

i. 向量范数的定义

在数域 $P$ 上的线性空间 $V$ 中，对于任意向量 $\boldsymbol x$ 对应一个实值函数 $\| \boldsymbol x \|$，满足以下条件：

• 非负性：$\forall \, \boldsymbol x, \, \| \boldsymbol x \| \ge 0$，当且仅当 $\boldsymbol x = \boldsymbol0$ 时取等号。
• 数乘：$\| k \boldsymbol x \| = |k| \| \boldsymbol x \|$。
• 三角不等式：$\| \boldsymbol x + \boldsymbol y \| \le \| \boldsymbol x \| + \| \boldsymbol y \|$。

则称 $\| \boldsymbol x \|$ 为 $V$ 上的一种向量范数，$V$ 即为此范数定义下的赋范空间。

ii. 向量范数的性质

1. 减法三角不等式：$\| \boldsymbol x - \boldsymbol y \| \ge \| \boldsymbol x \| - \| \boldsymbol y \|$。

   证明

   三角不等式导出 $\| (\boldsymbol x - \boldsymbol y) + \boldsymbol y \| \le \| \boldsymbol x - \boldsymbol y\| + \| \boldsymbol y \|$，即 $\| \boldsymbol x - \boldsymbol y \| \ge \| \boldsymbol x \| - \| \boldsymbol y \|$。

2. 数乘可以导出 $\| \boldsymbol x \| = \| -\boldsymbol x \|$。

2. 矩阵范数

i. 矩阵范数的定义

在复矩阵空间 ${\mathbb C}^{R \times C}$ 中，对于任意矩阵 $\boldsymbol X$ 对应一个实值函数 $\| \boldsymbol X \|$，满足以下条件：

• （一样）非负性：$\forall \, \boldsymbol X, \, \| \boldsymbol X \| \ge 0$，当且仅当 $\boldsymbol X = \boldsymbol O$ 时取等号。
• （一样）数乘：$\| k \boldsymbol X \| = |k| \| \boldsymbol X \|$。
• （一样）三角不等式：$\| \boldsymbol X + \boldsymbol Y \| \le \| \boldsymbol X \| + \| \boldsymbol Y \|$。
• 乘法不等式：如果 $\boldsymbol X \boldsymbol Y$ 有意义，应有 $\| \boldsymbol X \boldsymbol Y \| \le \| \boldsymbol X \| \| \boldsymbol Y \|$。
  • 这是为了保证幂级数收敛，即 $\| \boldsymbol X \| < 1$ 时有 $\lim_{k \to \infin} \| \boldsymbol X^k \| = 0$。

则称 $\| \boldsymbol X \|$ 为一种矩阵范数。

ii. 矩阵范数的性质

1. 减法三角不等式（同上）。
2. 数乘可以导出 $\| \boldsymbol A \| = \| -\boldsymbol A \|$（同上）。

3. 相容的矩阵范数与向量范数、算子范数

i. 相容的矩阵范数与向量范数的定义

• 对于一种向量范数 $\| \boldsymbol x \|$ 和一种矩阵范数 $\| \boldsymbol X \|$，如果 $\forall \, \boldsymbol A \in {\mathbb C}^{R \times C}, \, \forall \, \boldsymbol x \in {\mathbb C}^C$，都有 $\| \boldsymbol A \boldsymbol x \| \le \| \boldsymbol A \| \| \boldsymbol x \|$（请注意左边是向量范数），称矩阵范数与向量范数相容。

ii. 算子范数的导出

• 问题描述：当给定一种向量范数 $\| \boldsymbol x \|$ 时，试图去寻找一种与之相容的矩阵范数 $\| \boldsymbol X \|$。

• 根据相容条件 $\| \boldsymbol A \boldsymbol x \| \le \| \boldsymbol A \| \| \boldsymbol x \|$，当 $\boldsymbol x \neq \boldsymbol 0$ 时得 $\| \boldsymbol A \| \ge \frac{\| \boldsymbol A \boldsymbol x \| }{\|\boldsymbol x \| }$。

• 初始的想法是也许可以作 $\| \boldsymbol A \| = \frac{\| \boldsymbol A \boldsymbol x \| }{\|\boldsymbol x \| }$，然而此值随 $\boldsymbol x$ 而变。

• 因而选择作 $\| \boldsymbol A \| = \sup _{ \boldsymbol x \neq 0} \frac{\| \boldsymbol A \boldsymbol x \| }{\|\boldsymbol x \| }$（$\sup$ 可以理解为 $\max$，指的是上确界，以避免出现逼近某值却取不到的情况），这就是一个满足相容条件的矩阵范数。

• 因为 $k\neq 0$ 时有 $\frac{\| \boldsymbol A (k\boldsymbol x) \| }{\| k \boldsymbol x \| } = \frac{\| \boldsymbol A \boldsymbol x \| }{\|\boldsymbol x \| }$，可以将查找范围限定在 $\| \boldsymbol x \| = 1$（或者任意正实数）这个几何闭集，结果不变、还省去了变分母和查找范围，而且闭集上一定能取得最值。

• 于是，一个与给定向量范数 $\| \boldsymbol x \|$ 相容的矩阵范数，可以定义为（称为由此向量范数诱导的算子范数）：

  $$ \| \boldsymbol A \| = \sup { \boldsymbol x \neq 0} \frac{\| \boldsymbol A \boldsymbol x \| }{\|\boldsymbol x \| } = \max{\| \boldsymbol x \| = 1} \| \boldsymbol A \boldsymbol x \| $$

可以验证此范数符合矩阵范数的四个条件和相容条件，这里略。

iii. 算子范数的性质

• $\| \boldsymbol I \| = 1$。

• 对于复方阵 $\boldsymbol A \in {\mathbb C}^{N \times N}$，若 $\| \boldsymbol A \| < 1$，那么 $\boldsymbol I -\boldsymbol A$ 为满秩方阵。

  证明

  $\forall \, \boldsymbol x \neq 0$ ，有：

  $$ \begin{align*}

  \| ( \boldsymbol I - \boldsymbol A) \boldsymbol x \|

  &= \| \boldsymbol x - \boldsymbol A \boldsymbol x \| \\

  & \ge \| \boldsymbol x \| - \| \boldsymbol A \boldsymbol x \| \\

  & \ge \| \boldsymbol x \| - \| \boldsymbol A \| \| \boldsymbol x \| \\

  &= (1 - \| \boldsymbol A \|) \| \boldsymbol x \| > 0

  \end{align*} $$

  因而 $\forall \, \boldsymbol x \neq 0 , \, (\boldsymbol I - \boldsymbol A) \boldsymbol x \neq \boldsymbol 0$，即 $\boldsymbol I - \boldsymbol A$ 为满秩方阵。

  • 还能证明 $\| ( \boldsymbol I -\boldsymbol A )^{-1} \| \le \frac {1}{1 - \| \boldsymbol A \|}$（证略）。
  • 由于 $\| \boldsymbol A \| = \| -\boldsymbol A \|$，那么对于复方阵如果 $\| \boldsymbol A \| < 1$ ，那么 $\boldsymbol I +\boldsymbol A$ 也为满秩方阵，仍有 $\| ( \boldsymbol I +\boldsymbol A )^{-1} \| \le \frac {1}{1 - \| \boldsymbol A \|}$。

二、向量范数与矩阵范数 · 常用范数

1. 2-范数、谱范数与 F-范数

i. 2-范数

• 向量的 2-范数定义为：

  $$ \| \boldsymbol x \|2 = \sqrt{ \sum{i=1}^N |x_i|^2 } = \sqrt {\boldsymbol x^{\rm H} \boldsymbol x} $$

ii. 谱范数

• 向量的 2-范数所诱导的算子范数称为谱范数（推导略）：

  $$ \| \boldsymbol X \|_2 = \sqrt{ \rho (\boldsymbol X^{\rm H} \boldsymbol X)} $$

  • 其中 $\rho(\boldsymbol A)$ 也称谱半径，意思是求得方阵 $\boldsymbol A$ 的绝对值最大的特征值的绝对值：$\rho(\boldsymbol X) = \max_{i \in [1, K]} |\lambda_i|$。

iii. $m_2$ 范数 / Frobenius 范数 / F-范数

• 此范数也与向量的 2-范数相容。

$$ \| \boldsymbol X \|{m_2} = \| \boldsymbol X \|{\rm F} = \sqrt{ \sum_{r=1}^R \sum_{c=1}^C |x_{rc}|^2} $$

• 性质：
  • 左乘或右乘酉矩阵后，F-范数的值不变，即 $\| \boldsymbol A \|_F = \| \boldsymbol U \boldsymbol A \|_F = \| \boldsymbol A \boldsymbol V\|_F$ 。
  • $\| \boldsymbol X \|_{\rm F} = {\rm tr} \ \boldsymbol X^{\rm T} \boldsymbol X = {\rm tr} \ \boldsymbol X \boldsymbol X^{\rm T}$。

2. 1-范数、列范数与 m1-范数

i. 1-范数

• 向量的 1-范数定义为：

  $$ \| \boldsymbol x \|1 = \sum{i=1}^N |x_i| $$

ii. 列范数

• 向量的 1-范数所诱导的算子范数称为列范数（推导略）：

  $$ \| \boldsymbol X \|1 = \max{c \in [1, C]} \sum_{r=1}^R |x_{rc}| $$

  • 意思是求得有最大绝对值和的列（有最大 1-范数的列向量的 1-范数）。