一、方阵的特征值、特征向量、特征空间

1. 特征（Eigen）的定义

对于给定的方阵 $\boldsymbol A$，如果存在 $\boldsymbol v$ 使得 $\boldsymbol A \boldsymbol v = \lambda \boldsymbol v$，称 $\boldsymbol v$ 为特征向量，$\lambda$ 为特征值，所有 $\boldsymbol v$ 构成的空间称为特征空间。

• 可以类比零空间的定义 $\boldsymbol A \boldsymbol v = \boldsymbol 0$。$\boldsymbol A \boldsymbol v = \lambda \boldsymbol v$ 的意思是，将 $\boldsymbol A$ 看成线性变换，是不是存在一些向量 $\boldsymbol v$ 被其变换后方向不变，其变的倍数为 $\lambda$。
• 有的特征空间为空空间，有的为直线，有的存在多个直线，有的直线能组合张成全空间（有的则不能）。

  1. （不存在的例子）如二阶方阵 $\boldsymbol A$ 是一个旋转变换：$\begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}$（考虑基 $\hat i,\hat j$ 分别变成了 $(0, 1)$ 和 $(-1, 0)$）。显然不存在任何特征向量，因为空间中所有向量都被「旋转」了（事实上如果试图解 $\lambda$ 将得到虚数解，虚数其实对应了某种旋转）。

     • 或者说特征空间为零空间。

     

  2. （重根的例子）如二阶方阵 $\boldsymbol A$ 是一个斜切变换：$\begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}$（考虑基 $\hat i,\hat j$ 分别不变和变成了 $(1, 1)$）。特征空间只有所有 $x$ 轴上的向量，对应特征值为 $1$（不缩放），其他所有方向都发生旋转。

     

  3. （多解的例子）如二阶方阵 $\boldsymbol A$ 是一个这样的变换：$\begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix}$（考虑基 $\hat i,\hat j$ 的变化）。特征空间包括：

     • 所有 $x$ 轴上的向量，对应特征值为 $3$。
     • 图示方向上的所有向量（可描述为任意 $k$ 倍的 $(-1, 1)$），对应特征值为 $2$。

     注意是只有这两个直线上向量的为特征向量。

     

  4. （多解张成高阶空间的例子）如二阶方阵 $\boldsymbol A$ 是一个这样的变换：$\begin{bmatrix} 2 & 0 \\ 0 & 2 \end{bmatrix}$，那么对空间做了一个等比缩放，空间中所有的方向都不变。特征空间为 $\{k_1 \hat {\boldsymbol i} + k_2\hat {\boldsymbol j}\}$ 即整个空间。

     • 请注意，如果是非等比缩放，那么就只有 $x, y$ 轴上分别各自不变，但其他任意方向发生变化，特征空间描述为两个轴的并集（而非张成空间） $\{k \hat {\boldsymbol i}\} \cup \{k\hat {\boldsymbol j}\}$。

2. 特征值的求解

求解 $|\boldsymbol A - \lambda \boldsymbol E| = 0$ （又称为特征方程）的所有解 $\lambda$ 即为特征值。如 $\boldsymbol A = \begin{bmatrix} 3 & 1 \\ 0 & 2 \end{bmatrix}$解法如下：

证明

存在 $\lambda^$ 使得 $|\boldsymbol A - \lambda^ \boldsymbol E| = 0$

$\Rightarrow$ ${\rm r}(\boldsymbol A - \lambda^* \boldsymbol E) < N$。

$\Rightarrow$ 存在非零解 $\boldsymbol v^$ 使得齐次方程组 $(\boldsymbol A - \lambda^ \boldsymbol E) \boldsymbol v^* = \boldsymbol 0$ 成立，而且一旦存在，就是存在一个对应的核空间 $S(\lambda^*)$。

$\Leftrightarrow$ $\boldsymbol A \boldsymbol v^* = \lambda^* \boldsymbol v^$，也就是说核空间 $S(\lambda^)$ 就是特征空间（的一部分），且这部分核空间 $S(\lambda^)$ 中特征向量对应的特征值即为 $\lambda^$。

针对交集和张成空间两种不同的组合方法，应该采取的措辞是：每个不同的特征值 $\lambda^$ 对应一个特征空间 $S(\lambda^)$，每个空间可能是多维的。

3. 特征空间的求解

对于每一个特征值 $\lambda^$，求解其对应的齐次方程 $(\boldsymbol A - \lambda^ \boldsymbol E) \boldsymbol v^* = \boldsymbol 0$，解空间即为对应的的特征空间。

下面为上面列出的四个例子分别求解。请特别留意②和④虽然都得到了二重根，但是特征空间的维度完全不同，依赖于 $(\boldsymbol A - \lambda \boldsymbol E)$ 的零化度。

4. 特征的本征性质

对于 $n$ 阶方阵 $\boldsymbol A$ 具备的所有的特征值（包括了重数和复数根）$\lambda_1, \lambda_2, \cdots, \lambda_N$ ，有：

• 其加和（$\lambda_1+ \lambda_2+ \cdots+ \lambda_N$ ）为 ${\rm tr} \ \boldsymbol A$。
• 其乘积（$\lambda_1 \lambda_2 \cdots \lambda_N$ ）为 $|\boldsymbol A|$。

据此可以产生推论：

• 如果 $|\boldsymbol A| = 0$，那么一定存在特征值 $\lambda=0$，其对应的特征空间就是核空间。

5. 特征的转移性质

i. 特征跟随单个矩阵作转置或多项式变化：

• 转置后（$\boldsymbol A^{\rm T}$）特征值相同（因为特征多项式 $|\boldsymbol A - \lambda^* \boldsymbol E| = |\boldsymbol A^{\rm T} - \lambda^* \boldsymbol E|$ 相同，特征方程也就同解）。

• 逆阵（$\boldsymbol A^{-1}$）的各个特征值也变为原来的倒数 $\lambda^{-1}$，且特征向量与原来相同。

  证明

  因为特征值 $\lambda$ 及其对应的特征空间内的特征向量 $\boldsymbol v$ 满足 $\boldsymbol A \boldsymbol v = \lambda \boldsymbol v$（因为 $\boldsymbol A$ 可逆因而 $\lambda \neq 0$），等式两端左乘 $\boldsymbol A^{-1}$ 得到 $\boldsymbol v = \lambda \boldsymbol A^{-1} \boldsymbol v$ 即 $\boldsymbol A^{-1} \boldsymbol v = \frac{1}{\lambda} \boldsymbol v$。

• 任意多项式（$p(\boldsymbol A), \ {\rm where} \ p(x)=a_mx^m + a_{m-1} x^{m-1}+\cdots+a_1 x + a_0$）的各个特征值也变为原来的多项式结果 $p(\lambda)$，且特征向量与原来相同。请注意，假如如果多项式只有零次幂也成立。

  证明

  因为特征值 $\lambda$ 及其对应的特征空间内的特征向量 $\boldsymbol v$ 满足 $\boldsymbol A \boldsymbol v = \lambda \boldsymbol v$，因而：

  $\boldsymbol A^2 \boldsymbol v = \boldsymbol A(\boldsymbol A \boldsymbol v) = \boldsymbol A (\lambda \boldsymbol v) = \lambda (\boldsymbol A \boldsymbol v) = \lambda^2 \boldsymbol v$，高次幂以此类推；

  $(k_1\boldsymbol A^2 + k_2\boldsymbol A) \boldsymbol v = (k_1 \lambda^2 + k_2 \lambda) \boldsymbol v$，以此类推。

• 如果说 $\boldsymbol A = \boldsymbol B$，说明其对应的特征值与特征向量完全相同。

ii. 矩阵拥有特定关系下的特征关系

• 相似矩阵有相同的特征多项式（特征值相同）（但反过来的话，多项式相同不一定矩阵相似）。
• $\boldsymbol A \boldsymbol B$ 和 $\boldsymbol B \boldsymbol A$（就算大小不同也成立）有相同的非零特征值。
• $\boldsymbol x \boldsymbol y^{\rm T}$ 的特征多项式为 $\lambda^{n-1} (\lambda - \boldsymbol y^{\rm T} \boldsymbol x)$，即有 $n-1$ 个零特征值和一个为 $\boldsymbol x \cdot \boldsymbol y$ 的特征值（和上一行所描述的性质相符合）。