指的是人工神经网络：模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而成的人工网络系统。

感知机：曾经用于单层神经网络，但是逐渐衰落，直到深度学习与多层神经网络再度复兴感知机。

神经网络的特性：

• 并行结构、并行处理：同一层的处理单元都是同时工作的。计算机 CPU 则是串行挨个处理，所以模拟起来比较慢。
• 知识和记忆分布地存储在整个系统中。
• 容错性：由于分布存储，人类大脑具有很强的容错率，有的细胞可能死亡但是不影响整体的机能，也表现在可以从不完善的数据和图形中进行学习和做出决策。

生物脑神经系统结构：

• 一千多亿个神经元：大脑皮层约140亿个，小脑皮层约1000亿个。
• 神经元类型：1000多种
• 每个神经元与 10^3 ~ 10^4 个其他神经元相连接。

输出为：

$$ y = \phi \left( \sum_{i=1}^{n} w_i x_i - \theta \right) $$

感知机模型

感知机模型只有一层神经元参与处理，并且 $\phi(x) = {\rm {sgn}}(x)$ ：

$$ y = {\rm {sgn}}\left( \boldsymbol w^{\rm T} \boldsymbol x + b \right) $$

多层神经网络

计算公式

逐渐增加节点数和层数