一、特征分解与谱分解

1. 正规矩阵的定义

• 如果复方阵 $\boldsymbol A$ 满足 $\boldsymbol A^{\rm H} \boldsymbol A = \boldsymbol A \boldsymbol A ^{\rm H}$，称 $\boldsymbol A$ 为正规矩阵（Normal matrix）。
• 显然埃尔米特矩阵（$\boldsymbol A^{\rm H} = \boldsymbol A$，故上式等于 $\boldsymbol A^2$）和酉交矩阵（$\boldsymbol A^{-1} = \boldsymbol A^{\rm H}$，故上式等于 $\boldsymbol E$）都是正规矩阵。不过除此之外别的矩阵也可能是正规矩阵。比如复对角矩阵 $\boldsymbol \Lambda$ 虽非埃尔米特矩阵（$\boldsymbol \Lambda^{\rm H} = \overline {\boldsymbol \Lambda} \neq \boldsymbol \Lambda$），但满足 $\boldsymbol \Lambda^{\rm H} \boldsymbol \Lambda = \boldsymbol \Lambda \boldsymbol \Lambda ^{\rm H} = {\bold {diag}}(|\lambda_1|^2, |\lambda_2|^2, \cdots, |\lambda_N|^2)$故是正规矩阵。

2. 正规矩阵一定能酉交相似于对角矩阵

在「A1章」中我们提到：

• 复矩阵一定酉交相似于上三角复矩阵（舒尔定理），即 $\boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol T$，且 $\boldsymbol T$ 的主对角元是 $\boldsymbol A$ 的特征值。
• 埃尔米特矩阵一定**酉交相似于实对角矩阵。**事实上可以酉交分解对角化的不只是埃米尔特矩阵，见下。

实际上，任意复矩阵酉交相似于复对角矩阵的充要条件就是其是正规矩阵。

证明

充分性：

• 已知 $\boldsymbol A^{\rm H} \boldsymbol A = \boldsymbol A \boldsymbol A ^{\rm H}$，和分解式 $\boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol T$（舒尔定理），也就有 $\boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol U = \boldsymbol T^{\rm H}$。

• 有 $\boldsymbol T^{\rm H}\boldsymbol T = \boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol U \boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol A^{\rm H} \boldsymbol U = \boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U \boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol U = \boldsymbol T\boldsymbol T^{\rm H}$。依 $(\boldsymbol T^{\rm H} \boldsymbol T){[k, k]} = \sum{i=1}^k |t_{[i, k]}|^2$，$(\boldsymbol T \boldsymbol T^{\rm H}){[k, k]} = \sum{i=k}^N |t_{[k, i]}|^2$。得 $\sum_{i=1}^k |t_{[i, k]}|^2 = \sum_{i=k}^N |t_{[k, i]}|^2$。

  

• 此式可以用于逐渐推导。考虑 $k= 1$ 可以得到 $|t_{[1, 1]}|^2 = \sum_{i=1}^N |t_{[1, i]}|^2$ 故 $\sum_{s=2}^N |t_{[1, s]}|^2 = 0$，即第一行除了第一项都是 0。

• 考虑 $k= 2$ 可以得到 $|t_{[1, 2]}|^2 + |t_{[2, 2]}|^2 = \sum_{i=2}^N |t_{[2, i]}|^2$，而已论证 $t_{[1, 2]}=0$，故同理，第二行除了第二项，后面的都是 0……一直到最后一行，故 $\boldsymbol T$ 为对角矩阵 $\boldsymbol \Lambda$。

必要性：

• 已有 $\boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol \Lambda$（$\boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol U = \boldsymbol \Lambda^{\rm H}$）。如前所述，复对角矩阵是正规矩阵有 $\boldsymbol \Lambda^{\rm H} \boldsymbol \Lambda = \boldsymbol \Lambda \boldsymbol \Lambda ^{\rm H}$，即 $\boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol U\boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol U ^{\rm H}\boldsymbol A \boldsymbol U\boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol U$，得 $\boldsymbol U ^{\rm H} \boldsymbol A^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol U ^{\rm H}\boldsymbol A \boldsymbol A^{\rm H} \boldsymbol U$，消去得 $\boldsymbol A^{\rm H} \boldsymbol A = \boldsymbol A \boldsymbol A^{\rm H}$。

同样地，这也说明正规矩阵 $\Leftrightarrow$ 有 $N$ 个两两酉交的单位特征向量。

证明：只需证酉交相似于复对角矩阵的矩阵 $\Leftrightarrow$ 有 $N$ 个两两酉交的单位特征向量。

$\Rightarrow$：

• 分解式 $\boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol \Lambda$ 得 $\boldsymbol A \boldsymbol U = \boldsymbol U\boldsymbol \Lambda$，即 $\boldsymbol A \boldsymbol u_i = \lambda_i\boldsymbol u_i \ (i \in [1, n])$。
• 因 $\boldsymbol U$ 为酉交矩阵，因而 $\boldsymbol A$ 确有 $N$ 个两两酉交的单位特征向量。

$\Leftarrow$（证略）。

另一推论：正规矩阵属于不同特征值的特征向量一定互相正交。

3. 正规矩阵的谱分解

i. 谱分解的定义

• 将 $\boldsymbol U ^{\rm H} \boldsymbol A \boldsymbol U = \boldsymbol \Lambda$ 得到的 $\boldsymbol A = \boldsymbol U \boldsymbol \Lambda \boldsymbol U ^{\rm H}$ 写作下式，即为谱分解【TODO：需要图解】。

  $$ \boldsymbol A = \sum_{i=1}^N \lambda_i \boldsymbol u_i \boldsymbol u^{\rm H}_i $$

ii. 成分矩阵的性质

其中关于 $\boldsymbol u_i \boldsymbol u^{\rm H}_i$ 这个由单位向量张成的矩阵（称为成分矩阵或者分量），有如下性质：

• ${\rm r}(\boldsymbol u_i \boldsymbol u^{\rm H}_i) = 1$（此矩阵秩和原向量 $\boldsymbol u_i$ 的秩一样大，原向量也不是零向量）。
  • 不过加权之后，$\lambda_i \boldsymbol u_i\boldsymbol u_i^{\rm H}$ 的秩是 1 是 0 当然是要看系数是不是 0 了。
• $\boldsymbol u_i \boldsymbol u^{\rm H}_i$ 是正交投影矩阵。因为它满足 $\boldsymbol A^2 = \boldsymbol A = \boldsymbol A^{\rm H}$（见「第九章+：三、3. iv.」正交投影变换矩阵的等价条件，或者「投影矩阵」）：
  • $(\boldsymbol u_i \boldsymbol u^{\rm H}_i)^{\rm H} = \boldsymbol u_i \boldsymbol u^{\rm H}_i$（转置和自身相等）；
  • $(\boldsymbol u_i \boldsymbol u^{\rm H}_i)^2 = \boldsymbol u_i \boldsymbol u^{\rm H}_i\boldsymbol u_i \boldsymbol u^{\rm H}_i = \boldsymbol u_i \boldsymbol u^{\rm H}_i$（二次幂和自身相等）。
• 各个成分矩阵间互相的关系：
  • 易验 $(\boldsymbol u_j \boldsymbol u^{\rm H}_j)^{\rm H} (\boldsymbol u_i \boldsymbol u^{\rm H}i) = \delta{ij} \boldsymbol u_i \boldsymbol u^{\rm H}_i$。即当 $i =j$ 时取 $\boldsymbol u_i \boldsymbol u^{\rm H}_i$，当 $i \neq j$ 时取 $\boldsymbol O$。
  • $\sum_{i=1}^N \boldsymbol u_i \boldsymbol u_i^{\rm H} = \boldsymbol U \boldsymbol U^{\rm H} = \boldsymbol I$。

iii. 谱分解的转移性质

• 对正规矩阵有谱分解 $\boldsymbol A = \sum_{i=1}^N \lambda_i \boldsymbol u_i \boldsymbol u^{\rm H}i$，则 $\boldsymbol A^k = \sum{i=1}^N \lambda_i^k \boldsymbol u_i \boldsymbol u^{\rm H}_i$。
• 对可逆埃尔米特矩阵有谱分解 $\boldsymbol A = \sum_{i=1}^N \lambda_i \boldsymbol u_i \boldsymbol u^{\rm H}i$，则 $\boldsymbol A^{-1} = \sum{i=1}^N \frac 1{\lambda_i} \boldsymbol u_i \boldsymbol u^{\rm H}_i$。

iv. 谱分解作为线性变换的性质

• 作为一个线性变换，$\boldsymbol u_i \boldsymbol u^{\rm H}_i \boldsymbol x$ 的意思是将 $\boldsymbol x$ 投影到 $\boldsymbol u_i$ 所在的方向成为有向量（与单位向量作内积得到投影长度，又乘上之成为有向量）。这也符合 $\boldsymbol u_i \boldsymbol u^{\rm H}_i$ 是正交投影矩阵的事实。
• 因而整个谱分解 $\boldsymbol A \boldsymbol x = \sum_{i=1}^N \lambda_i \boldsymbol u_i \boldsymbol u^{\rm H}_i \boldsymbol x$ 可以理解为将 $\boldsymbol x$ 分别投影到一组标准正交基上，然后分别作伸缩（这些伸缩变动的秩都为 1），然后重新叠加起来。
• 相似关系表示线性变换在不同基间转换的关系。因而 $\boldsymbol A = \boldsymbol U \boldsymbol \Lambda \boldsymbol U ^{\rm H}$ 作为线性变换，表示将其保持内积关系地转换到一个只在各个坐标轴向上单独进行缩放变动的基。

4. 谱分解的近似

i. 定义 F-范数

• 定义任意矩阵（可非方）$\boldsymbol X$ 的 Frobenius 范数的定义如下：

  $$ \| \boldsymbol X \|F^2 = \sum{i=1}^R \sum_{j=1}^C |x_{ij}|^2 = {\rm tr} \, \boldsymbol X \boldsymbol X^{\rm H} = {\rm tr} \, \boldsymbol X^{\rm H} \boldsymbol X $$

• 其明显拥有正定性，可以开方。

ii. F-范数要用到的性质

• 如果同阶矩阵酉交即 $\boldsymbol A ^{\rm H} \boldsymbol B = \boldsymbol O$，那么 $\| \boldsymbol A +\boldsymbol B \|_F^2 = \| \boldsymbol A \|_F^2 + \| \boldsymbol B \|_F^2$。

  证明

  $$ \begin{align*}

  \| \boldsymbol A +\boldsymbol B \|_F^2

  &= {\rm tr} (\boldsymbol A +\boldsymbol B)^{\rm H} (\boldsymbol A +\boldsymbol B) \\

  &= {\rm tr} (\boldsymbol A^{\rm H} \boldsymbol A + \boldsymbol B^{\rm H} \boldsymbol B + \boldsymbol A^{\rm H} \boldsymbol B + \boldsymbol B^{\rm H} \boldsymbol A)\\

  &= {\rm tr} (\boldsymbol A^{\rm H} \boldsymbol A + \boldsymbol B^{\rm H} \boldsymbol B ) \\

  &= {\rm tr} (\boldsymbol A^{\rm H} \boldsymbol A) + {\rm tr} (\boldsymbol B^{\rm H} \boldsymbol B ) \\

  &= \| \boldsymbol A \|_F^2 + \| \boldsymbol B \|_F^2

  \end{align*} $$

• 可以推广到更多个互相两两酉交的同阶矩阵的和也有类似的关系。

• 数乘关系：$\forall \, k \in {\mathbb C}, \, \| k \boldsymbol X \|_F = |k| \cdot \| \boldsymbol X \|_F$。

  证明

  $\| k \boldsymbol X \|_F^2

  = \sum_{i=1}^R \sum_{j=1}^C |kx_{ij}|^2

  = |k|^2 \sum_{i=1}^R \sum_{j=1}^C |x_{ij}|^2

  = |k|^2 \cdot \| \boldsymbol X \|_F^2$。

iii. 正规矩阵的 F-范数

• 如果正规矩阵 $\boldsymbol A$ 有酉交分解 $\boldsymbol A = \boldsymbol U \boldsymbol \Lambda \boldsymbol U ^{\rm H}$ ，那么 $\| \boldsymbol A \|_F

= \| \boldsymbol \Lambda \|F = \sqrt{\sum{i=1}^N |\lambda_{i}|^2}$。

> **证明**
> 
> 
> 通过 $\\| \\boldsymbol X \\|_F = \\| \\boldsymbol X^{\\rm H} \\|_F$  即 ${\\rm tr} \\, \\boldsymbol X \\boldsymbol X^{\\rm H} = {\\rm tr} \\, \\boldsymbol X^{\\rm H} \\boldsymbol X$：
> 
> $$
> \\begin{align*}
> 
> \\| \\boldsymbol A \\|_F^2
> 
> &= \\left\\| \\boldsymbol U \\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H}  \\right\\|_F^2
> 
> = {\\rm tr} ( \\boldsymbol U \\boldsymbol \\Lambda^{\\rm H} \\boldsymbol U ^{\\rm H}  \\boldsymbol U \\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H} )
> 
> = {\\rm tr} ( \\boldsymbol U \\boldsymbol \\Lambda^{\\rm H} \\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H} ) \\\\
> 
> &= {\\rm tr} ((\\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H})^{\\rm H} (\\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H}))
> 
> = {\\rm tr} ((\\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H}) (\\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H})^{\\rm H}) \\\\
> 
> &= {\\rm tr} (\\boldsymbol \\Lambda \\boldsymbol U ^{\\rm H} \\boldsymbol U \\boldsymbol \\Lambda^{\\rm H} )
> 
> = {\\rm tr} (\\boldsymbol \\Lambda \\boldsymbol \\Lambda^{\\rm H} )
> 
> = \\sum_{i=1}^N |\\lambda_{i}|^2
> 
> \\end{align*}
> $$
>