Untitled

不唯一时,选用能最大化间隔的:

Untitled

Untitled

寻找分离超平面问题:

$\{(x_i, y_i)\}, \ \ i \in [0, N) \cap \Z$, 寻找 $W, b$ ,使得 $\forall i,$ 若 $y_i = +1$ 则 $W^{\rm T} x_i + b \ge 0$ ;若 $y_i = -1$ 则 $W^{\rm T} x_i + b \le 0$ 。如果存在,则称训练集线性可分。

Untitled

感知机利用误分类最小的策略,求得分离超平面,但有无穷多个解。

支持向量机利用间隔最大化求最优分离超平面,解唯一。

距离超平面最近的且满足一定条件的几个训练样本点被称为支持向量。

点到直线的距离

二维中,点 $(x_0, y_0)$ 到直线 $A x + B y + C = 0$ 的距离为:

$$ d = \frac{|Ax_0 + By_0 + C|}{\sqrt{w_1^2 + w_2^2}} $$

拓展到高维,则可以写成(其中 $\boldsymbol W$ 相当于拓展后的 $(A, B)$, $b$ 相当于原来的 $C$):

$$ d = \frac{ |\boldsymbol W^T \boldsymbol x + b|}{|| \boldsymbol W||} $$

这个公式,应该对支持向量 $\boldsymbol x_0$ 得到最大的 $d$。

此时用一个缩放 $a$ 施加在 $(\boldsymbol W, b)$ 上,超平面公式 $\boldsymbol W^T \boldsymbol x + b = 0 \Rightarrow a\boldsymbol W^T \boldsymbol x + ab = 0$ 不改变,但使施加后超平面对支持向量满足 $|\boldsymbol W^T \boldsymbol x_0 + b| = 1$ 。此时剩下的问题就是要最大化的、支持向量与平面的距离为:

$$ d = \frac{1}{||\boldsymbol W||} $$

也就是最小化 $||\boldsymbol W||$ 问题——也就是最小化 $||\boldsymbol W||^2$ 问题。

剩下的是个二次规划问题:最小化 $d_- = ||W||^2 = w_1^2 + w_2^2+ \cdots w_K^2$,约束条件是 $i$ 个公式 $y_i (W^T \boldsymbol x_i + b)\ge 1$。