在监督模型中的位置是：分类器设计
线性： $y = W x$， $W$ 是模型参数。
如果 $x, y$ 不存在直接线性关系，有的可以先变换一下： $y = W \phi(x)$
有时候也要 $y = Wx + b$ 。
找到拟合线让误差最小：
衡量误差：欧氏距离 $E = \sum_{i=1}^{N} (f(x_i)-y_i) ^2$
求法：最小二乘法。
$E(W, b) = \sum_{i=1}^{N} (Wx_i + b-y_i) ^2$，取到最小时有 $\frac {\partial E(W,b)}{\partial W} =0， \frac {\partial E(W,b)}{\partial b} = 0$，解方程可得
也就是 $x$ 现在是 $D$ 维列向量 $\boldsymbol x$ 。引入 $\boldsymbol X$：
$$ \boldsymbol X = \begin{bmatrix} \boldsymbol x_{1} ^ {\rm T}& 1 \\ \boldsymbol x_{2} ^ {\rm T}& 1 \\ \vdots & \vdots\\ \boldsymbol x_{N} ^ {\rm T}& 1 \\ \end{bmatrix}, \ \ \ \hat {\boldsymbol W }= \begin{bmatrix} w_1 \\ w_2 \\ \vdots \\ w_D \\ b \end{bmatrix}, \ \ \ {\boldsymbol y }= \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_D \end{bmatrix}, \ \ \ \hat {\boldsymbol y }= \boldsymbol X \hat{\boldsymbol W} $$
均方误差函数：$E(\hat {\boldsymbol W}) = (\boldsymbol y - \boldsymbol X \hat {\boldsymbol W})^{\rm T} (\boldsymbol y - \boldsymbol X \hat {\boldsymbol W})$ ，找到让它最小的 $\hat {\boldsymbol W}$ 。