• 单高斯模型 (Single Gaussian Model, SGM)。
• 高斯混合模型 (Gaussian Mixture Model, GMM) 能够平滑地近似模拟任意形状的概率密度分布。

S 前置知识：协方差矩阵及其特性

如何直观地理解「协方差矩阵」？

S1 协方差矩阵的定义与求法

对某实数据集 $\boldsymbol X_{N \times M}$（$M$ 列，每列是一个 $N$ 维样本 $\boldsymbol x^{(m)}$）而言：

i. 均值向量

• 有各维度均值 $\mu_i \ (i \in [1, N] \cap \Z)$ 的定义与求法：

  $$ \mu_i = {\rm E}(X_i) = \frac 1M \sum_{m=1}^{M} x^{(m)}_i $$

• 故有均值向量为：

  $$ \boldsymbol \mu = \frac 1M \sum_{m=1}^{M} \boldsymbol x^{(m)} $$

ii. 协方差矩阵

• 有任意两维度间协方差 $\Sigma_{i, j} \ (i, j \in [1, N] \cap \Z)$ 的定义与求法：

  $$ \begin{align*}

  \Sigma_{i, j} &= {\rm Cov} (X_i, X_j) = {\rm E}((X_i - \mu_i)(X_j - \mu_j)) \\ &= \frac 1M \sum_{m=1}^M (x_i^{(m)} - \mu_i) (x_j^{(m)} - \mu_j)

  \end{align*} $$

• 故协方差矩阵如下（可验证）：

  $$ \boldsymbol \Sigma = \frac 1M \sum_{m=1}^M (\boldsymbol x^{(m)} - \boldsymbol \mu)(\boldsymbol x^{(m)} - \boldsymbol \mu)^{\rm T} $$

• 协方差矩阵显然是一个实对称矩阵。

S2 协方差矩阵的半正定性

i. 协方差矩阵的半正定性

• 作协方差矩阵的夹心糖式 $\boldsymbol x^{\rm T} \boldsymbol \Sigma \boldsymbol x \ (\boldsymbol x \in \R)$，显然结果是实数，还可以如下展开：

  $$ \begin{align*}

  \boldsymbol x^{\rm T} \boldsymbol \Sigma \boldsymbol x

  &= \frac 1M \sum_{m=1}^M \boldsymbol x^{\rm T}(\boldsymbol x^{(m)} - \boldsymbol \mu)(\boldsymbol x^{(m)} - \boldsymbol \mu)^{\rm T} \boldsymbol x \\

  &= \frac 1M \sum_{m=1}^M ((\boldsymbol x^{(m)} - \boldsymbol \mu)^{\rm T} \boldsymbol x)^{\rm T} ((\boldsymbol x^{(m)} - \boldsymbol \mu)^{\rm T} \boldsymbol x)

  \end{align*} $$

• 显然 $(\boldsymbol x^{(m)} - \boldsymbol \mu)^{\rm T} \boldsymbol x \in \R$，故 $\boldsymbol x^{\rm T} \boldsymbol \Sigma \boldsymbol x = \frac 1M \sum_{m=1}^M ((\boldsymbol x^{(m)} - \boldsymbol \mu)^{\rm T} \boldsymbol x)^2 \ge 0$ 显然有半正定性。

ii. 协方差矩阵在什么时候有正定性

• 既然协方差矩阵 $\boldsymbol \Sigma$ 已经是半正定的，那么其正定的充要条件就是没有零特征值，即 $\boldsymbol \Sigma$ 可逆，即 $\det \boldsymbol \Sigma \neq 0$。
• 反过来说，$\boldsymbol \Sigma$ 不可逆的话，就有零特征值，只能保证是半正定的。
• $\boldsymbol \Sigma$ **不可逆的充要条件（大概）**为样本所表出的各变量之间存在线性相关性（某个变量可被另一些变量线性表出）。

S3 协方差矩阵的尺度矩阵、旋转矩阵

• 下面假定协方差矩阵是正定的。
• 根据「第 A1 章：二、4. 」，实对称矩阵一定正交相似于实对角矩阵。加之其正定性，因而存在正交矩阵 $\boldsymbol Q$（满足 $\boldsymbol Q^{\rm T} = \boldsymbol Q^{-1}$，或者说由 $N$ 个两两正交的 $N$ 维单位向量构成；一般还要求 $\boldsymbol Q$ 是正常的正交矩阵即 $|\boldsymbol Q | = 1$）使得 $\boldsymbol Q^{\rm T} \boldsymbol \Sigma \boldsymbol Q = \boldsymbol \Lambda$，其中 $\boldsymbol \Lambda = {\rm diag} (\lambda_1, \lambda_2, \cdots, \lambda_N)$，$\lambda_1, \lambda_2, \cdots, \lambda_N > 0$（甚至可以让各特征值从大到小排好序，因为在求解特征向量时顺序是自定的）。
• 因而有 $\boldsymbol \Sigma = \boldsymbol Q \boldsymbol \Lambda^{\frac 12} \boldsymbol \Lambda^{\frac 12} \boldsymbol Q^{\rm T} = (\boldsymbol Q \boldsymbol \Lambda^{\frac 12}) (\boldsymbol Q \boldsymbol \Lambda^{\frac 12})^{\rm T}$，其中 $\boldsymbol \Lambda^{\frac 12}$ 即称为尺度矩阵，$\boldsymbol Q$ 即称为旋转矩阵。如果作 $\boldsymbol A = \boldsymbol Q \boldsymbol \Lambda^{\frac 12}$，就有 $\boldsymbol \Sigma =\boldsymbol A \boldsymbol A^{\rm T}$。
• 假设有一 $N$ 维单位球面，不难想到其方程为 $x_1^2 + x_2^2 + \cdots + x_N^2 = 1$，可以写成矩阵式 $\boldsymbol x^{\rm T} \boldsymbol x = 1$。
• 作变换 $\boldsymbol y = \boldsymbol A \boldsymbol x$，其中 $\boldsymbol A = \boldsymbol Q \boldsymbol \Lambda^{\frac 12}$，那么通过 $\boldsymbol x = \boldsymbol A^{-1} \boldsymbol y$，标准球面方程 $\boldsymbol x^{\rm T} \boldsymbol x = 1$ 可转移成为变换为 $y$ 基底下的方程 $\boldsymbol y^{\rm T} \boldsymbol A^{-\rm T} \boldsymbol A^{-1} \boldsymbol y = 1$，即 $\boldsymbol y^{\rm T} \boldsymbol \Sigma^{-1} \boldsymbol y = 1$。
• 通过基变换的知识可知，$\boldsymbol A$ 为 $y$ 基底到 $x$ 基底的过渡矩阵，各列向量表示的是 $x$ 基底被 $y$ 基底表出的方法，并可知对应维度编号为 $i$ 的列向量为 $\boldsymbol t_i = \boldsymbol Q \boldsymbol \Lambda^{\frac 12} \boldsymbol \epsilon_i = \sigma_i \boldsymbol Q\boldsymbol \epsilon_i$（$\boldsymbol \epsilon_i$ 表示自然基向量），又根据 $\boldsymbol Q$ 表示不改变长度的正交变换，知列向量的长度为 $\| \boldsymbol t \|_2 = \sigma_i$，其中 $\sigma_i = \sqrt{\lambda_i}$，$i \in [1, N] \cap \Z$。
• 因而方程 $\boldsymbol y^{\rm T} \boldsymbol \Sigma^{-1} \boldsymbol y = 1$ 表示的就是一个先后经过轴尺度变换 $\boldsymbol \Lambda^{\frac 12}$ 和正交变换 $\boldsymbol Q$ 的单位球面。