RNN

时间维度上打开。循环（递归）允许信息从网络的前一个步骤传递到下一个步骤。

适用于序列和列表的神经网络结构。比如文本是字母和词汇的序列；语音是音节的序列；视频是图像的序列；气象、股票、监控数据等。

核心思想：样本间存在顺序关系，每个样本和它之前的样本存在关联。通过神经网络在时序上的展开，可以找到样本之间的序列相关性。

RNN 包括：

• 时间递归神经网络（主要）
• 结构递归神经网络

应用：图像标注、对话生成、音乐作曲、情绪分析、翻译等。

自然语言的向量编码

One-hot 编码

也就是每个维度对应一个词儿。

${\rm apple} = [1, 0, 0, 0, \cdots, 0]$

RNN 的算法过程

考察时序展开。