一、向量组的正交化（orthogonalization）

1. 正交向量组（orthogonal vector group）

正交向量组：如果向量组中向量：① 均非零向量；② 两两正交即 $\boldsymbol v_i \cdot \boldsymbol v_j = 0 \ (i, j \in [1, M]\cap \Z)$，称其为正交向量组。

• 正交向量组一定线性无关。

  证明

  设 $k_1 \boldsymbol v_1 + k_2 \boldsymbol v_2 + \cdots + k_M \boldsymbol v_M = \boldsymbol 0$，如果 $k_1, k_2, \cdots k_M$ 只可能均取 $0$，那么线性无关。

  据此 $(k_1 \boldsymbol v_1 + k_2 \boldsymbol v_2 + \cdots + k_M \boldsymbol v_M)\cdot \boldsymbol v_1 = \boldsymbol 0 \cdot \boldsymbol v_1 = 0$。

  而展开 $(k_1 \boldsymbol v_1 + k_2 \boldsymbol v_2 + \cdots + k_M \boldsymbol v_M)\cdot \boldsymbol v_1 = k_1 \cdot \| \boldsymbol v_1 \|^2$，又 $\| \boldsymbol v_1 \| > 0$，故 $k_1=0$。其他同理。

标准正交向量组：单位向量构成的正交向量组，称为标准正交向量组或者规范正交向量组。

2. 正交基

正交基：正交向量组既然一定线性无关，就可以作为其表示的空间的一组基。这种情况下由于各个基向量相互正交，称为正交基。

• 比如，$\R^N$ 中 $N$ 个向量构成正交向量组（构成方阵 $\boldsymbol A$），则称其为 $\R^N$ 的一组正交基。

标准正交基：如果正交基中的基向量又都是单位向量，那么称为标准正交基。

3. 正交化问题及其一种方法

正交化问题：已知线性无关向量组 $A$，求解与之等价的正交向量组 $B$（确定性更高）。

施密特正交化方法：设 $\boldsymbol \alpha_1, \boldsymbol \alpha_2, \cdots, \boldsymbol \alpha_M$ 是 $\R^N$ 中的一个线性无关向量组（$M \le N$）。令：

$$ \begin{align*}

\boldsymbol \beta_1 &= \boldsymbol \alpha_1 \\

\boldsymbol \beta_2 &= \boldsymbol \alpha_2 - \frac{ \boldsymbol \alpha_2 \cdot \boldsymbol \beta_1}{ \| \boldsymbol \beta_1 \|^2 } \boldsymbol \beta_1 \\

\boldsymbol \beta_3 &= \boldsymbol \alpha_3 - \frac{ \boldsymbol \alpha_3 \cdot \boldsymbol \beta_1}{ \| \boldsymbol \beta_1 \|^2 } \boldsymbol \beta_1 - \frac{ \boldsymbol \alpha_3 \cdot \boldsymbol \beta_2}{ \| \boldsymbol \beta_2 \|^2 } \boldsymbol \beta_2 \\

& \ \ \vdots \\

\boldsymbol \beta_M &= \boldsymbol \alpha_M - \frac{ \boldsymbol \alpha_M \cdot \boldsymbol \beta_1}{ \| \boldsymbol \beta_1 \|^2 } \boldsymbol \beta_1 - \frac{ \boldsymbol \alpha_M \cdot \boldsymbol \beta_2}{ \| \boldsymbol \beta_2 \|^2 } \boldsymbol \beta_2 - \cdots - \frac{\boldsymbol \alpha_M \cdot \boldsymbol \beta_M}{ \| \boldsymbol \beta_M \|^2 } \boldsymbol \beta_M \\

\end{align*} $$

即可得到正交向量组 $B$。其几何意义：先确定一个轴 $\boldsymbol \beta_1 = \boldsymbol \alpha_1$，第二个轴就需要减掉其与第一个轴 $\boldsymbol \beta_1$ 平行的部分（投影长度为 $\frac{\boldsymbol \alpha_2 \cdot \boldsymbol \beta_1 }{ \| \boldsymbol \beta_1 \|}$，乘以单位化后的 $\boldsymbol \beta_1$ 即可得到对应向量为 $\frac{ \boldsymbol \alpha_2 \cdot \boldsymbol \beta_1}{ \| \boldsymbol \beta_1 \| } \cdot \frac{ \boldsymbol \beta_1}{ \| \boldsymbol \beta_1 \| }$）。后面第三个轴则要分别去掉前面两个轴平行部分……以此得到各个正交向量。

标准正交化：找到正交向量组之后，对各个向量做单位化 $\boldsymbol \gamma_i = \frac{\boldsymbol \beta_i}{\|\boldsymbol \beta_i\|}$ 即可得到对应的标准正交向量组。

比如对「第五章：一、4.」线性方程组的解空间的基做正交化（答案验证过，应该是对的）：

二、正交矩阵与正交变换、正交相似

1. 正交方阵（orthogonal matrix）

i. 正交矩阵的定义：如果矩阵满足 $\boldsymbol A^{\rm T} \boldsymbol A = \boldsymbol E$，即逆矩阵是自己的转置（$\boldsymbol A^{-1} = \boldsymbol A ^{\rm T}$），称其为正交方阵（正交矩阵）。

• 如旋转变换$\begin{bmatrix}

\cos \theta & -\sin \theta \\

\sin \theta & \cos \theta

\end{bmatrix}$。

另，如果复矩阵满足 $\boldsymbol A^{\rm H} \boldsymbol A = \boldsymbol E$，称为酉矩阵（酉交矩阵）。

ii. 正交矩阵的充要条件：正交矩阵 $\Leftrightarrow$ 一组 $\R^N$ 的标准正交基，也表示一种能将正交坐标系变成正交坐标系的变换（正交变换）。

iii. 正交矩阵的性质：

1. 正交矩阵的行列式为 1 或 -1（$| \boldsymbol A | = 1 \ {\rm or} \ | \boldsymbol A | = -1$）。
   • 如果为 1，称其为正常的正交矩阵；如果为 -1，称其为非正常的正交矩阵。
2. 几个正交矩阵的乘积仍是正交矩阵（可证明 $(\boldsymbol A \boldsymbol B)^{\rm T} (\boldsymbol A \boldsymbol B) = \boldsymbol B^{\rm T} (\boldsymbol A^{\rm T} \boldsymbol A )\boldsymbol B = \boldsymbol E$，根据要义也显然）。
3. 正交矩阵的逆矩阵仍是正交矩阵。
4. 如果列向量组是 $\R^N$ 的标准正交基，行向量组也是 $\R^N$ 的标准正交基，反之亦然。因为 $\boldsymbol A$ 是正交矩阵等价于 $\boldsymbol A^{\rm T}$ 是正交矩阵，且 $\boldsymbol A$ 的列向量组就是 $\boldsymbol A^{\rm T}$ 的行向量组。

2. 正交变换的性质

• 保持任意向量变换前后的模长不变。

  证明

  $\boldsymbol y = \boldsymbol A \boldsymbol x$ 有 $\| \boldsymbol y \|^2 = (\boldsymbol A \boldsymbol x)\cdot(\boldsymbol A \boldsymbol x) = (\boldsymbol A \boldsymbol x)^{\rm T}(\boldsymbol A \boldsymbol x) = || \boldsymbol x \|^2$