• 人工神经网络：具有适应性的简单单元组成的广泛、并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应（Kohonen, 1988）。

A 神经元模型

A1 神经元 (neuron) 模型

• 如果其电位超过一个阈值，那么就会被激活，即「兴奋」起来；当其兴奋时，就会向相连接的神经元发送化学物质，从而改变这些神经元的电位。

A2 M-P (McCulloch and Pitts) 神经元模型

• 数学模型如下。单个 M-P 神经元能够实现 16 种逻辑函数，对于深度学习的重要性就像门电路对于计算机。

  $$ y = f\left( \sum_{n=1}^N w_nx_n - \theta \right) = f(\hat {\boldsymbol w}^{\rm T} \boldsymbol x_+) $$

A3 激活函数

• 激活函数 $f$：最理想的形态其实是阶跃函数，但是不连续、不光滑、不能逆向传播，实际使用类似于「S」形的函数（被称作 Sigmoid 函数），常用的激活函数如下图。

  

  $$ {\rm Sigmoid: } \ \ \ f(x) = \frac {1}{1 + e^{-x}}, \ \ \ f'(x) = f(x)(1-f(x)) $$

  • 梯度消失问题：Sigmoid 函数值逼近 0 或 1 时梯度太小，不利于反向传播。
    • 后来发现利用 ReLU 激活函数能够有效抑制梯度消失问题。

A4 其他神经元

• 脉冲神经元模型（Gerstner and Kistler, 2002）。

B 学习算法

B1 误差逆传播

• 误差逆传播 (error Back-Propagation, BP) 是成功的神经网络学习算法。

  • 随机初始权重。

  • 链式梯度传播。

  • 梯度下降策略：以目标的负梯度方向对参数进行调整。

    $$ \Delta w = -\eta \frac{\partial E}{\partial w} $$

    • $\eta$ 被称为学习率。

  • 终止条件。

• 误差传播批次
  • 标准 BP 算法一次对一个样例进行传播。
  • 累积 BP 算法一次对整个训练集进行传播，也就是一个 epoch。
  • 分批 BP 算法一次对一批进行传播，也就是一个 batch。

B2 目标函数

• 一般目标函数是在整个训练集上的累积误差。

$$ E = \sum_{m=1}^M \frac 12 \|{\hat {\boldsymbol y}^{(m)}} - {\boldsymbol y^{(m)}} \|_2^2 $$

B3 防止过拟合