什么是 RNN？

循环神经网络（Recurrent Neural Network, RNN） 是一种能「记住之前说了什么」的神经网络，专门处理有先后顺序的数据。

生活类比：接力赛传话

想象一个接力赛传话游戏：第一个人听到一句话，记住要点后传给第二个人，第二个人结合新听到的和上一个人传来的信息，再传给第三个人……RNN 就是这样工作的：每一步都把当前输入和上一步的「记忆」结合起来，产生新的输出和新的记忆。这让它能理解「我 / 吃 / 苹果」和「苹果 / 吃 / 我」是完全不同的意思。

逐步理解：

  • 第一步：普通神经网络像「失忆症患者」——每次输入都独立处理，不记得之前看过什么
  • 第二步：RNN 加了一个「记忆本」（隐藏状态 h）——每处理一个词就更新记忆
  • 第三步：问题是「传话」传久了信息就丢了——这叫梯度消失
  • 第四步：LSTM 发明了「笔记本」（门控机制）——选择性地记住重要的、忘掉不重要的

🎯 适用场景

  • 文本生成: 根据上下文预测下一个词或字符
  • 语音识别: 将语音信号序列转换为文字
  • 机器翻译: 将一种语言序列翻译为另一种
  • 时间序列预测: 股票价格、天气预报、流量预测
  • 音乐生成: 根据已有音符序列生成新旋律

💡 经典应用: Siri、小爱同学等语音助手的早期版本使用 RNN 进行语音识别和自然语言理解

📜 历史渊源

问题背景：前馈神经网络把每个输入当作独立样本，无法处理序列数据——语言、音乐、股价都是有先后顺序的。"我吃苹果"和"苹果吃我"用的是同样的词，但意思完全不同。模型需要"记忆"才能理解序列。

关键突破：1986年，Rumelhart 等人将反向传播应用于带循环连接的网络——RNN 诞生了。但 RNN 有个致命缺陷：梯度在长序列中会指数级衰减（梯度消失），导致网络"记不住"远处的信息。1997年，Hochreiter 和 Schmidhuber 提出 LSTM，用"门控"机制（遗忘门、输入门、输出门）让网络选择性地记忆和遗忘，彻底解决了长程依赖问题。

深远影响：LSTM 统治了序列建模领域近20年——机器翻译、语音识别、文本生成都依赖它。直到2017年 Transformer 的出现才打破了 RNN 的垄断，但 LSTM 的门控思想仍然影响着现代架构设计。

趣闻：Hochreiter 的 LSTM 论文最初被多个顶会拒稿，审稿人认为"梯度消失不是真正的问题"。这篇论文后来成为深度学习领域引用量最高的论文之一。Schmidhuber 至今仍在为 LSTM 的优先权问题与学术界"battle"。

🔗 发展脉络

RNN
基础 RNN 1986 序列建模起源 →
LSTM
LSTM 1997 解决梯度消失 →
GRU
GRU 2014 简化版 LSTM →
Attn
Attention 2014 注意力机制 →
TF
Transformer 2017 并行化革命

⚠️ 局限性

  • 梯度消失/爆炸: 长序列训练时梯度难以有效传播
  • 难以并行: 必须按顺序处理，训练效率低
  • 长序列记忆有限: 即使 LSTM 也难以记住很长的上下文
  • 计算效率低: 无法像 CNN 或 Transformer 那样并行计算

🏢 工业界地位

历史重要地位

RNN 曾是序列建模的主流选择，但正逐渐被 Transformer 架构取代。然而，在某些资源受限或实时性要求高的场景，RNN/LSTM 仍有一定优势。

当前应用：嵌入式设备语音识别、轻量级时间序列预测、边缘计算场景。

交互式可视化

调整参数，观察 RNN 如何处理序列数据

10
试一试：
  • 点击「前进」按钮，观察隐藏状态 h 如何在每个时间步携带之前的信息
  • 切换不同的「序列数据」，观察 RNN 如何处理不同类型的输入
  • 注意每一步的输出是如何同时依赖「当前输入」和「之前的记忆」的

网络结构信息：

总参数: 0

序列步骤: 0 / 10

数学原理

直觉引入：读一句话时，你理解每个词都依赖前面的上下文。RNN 做的事情一样——它有一个"记忆"（隐藏状态），每读一个词就更新一次，把历史信息传递下去。

核心公式 —— 隐状态更新：

$$h_t = \sigma(W_{xh} x_t + W_{hh} h_{t-1} + b_h)$$

符号解释：

  • $x_t$：时间步 $t$ 的输入（如当前词的向量）
  • $h_t$：时间步 $t$ 的隐藏状态（"记忆"）
  • $h_{t-1}$：上一步的隐藏状态（历史信息）
  • $W_{xh}$：输入→隐藏的权重矩阵
  • $W_{hh}$：隐藏→隐藏的权重矩阵（记忆如何传递）
  • $b_h$：偏置项
  • $\sigma$：激活函数（通常用 Tanh）

输出计算：

$$\hat{y}_t = \text{softmax}(W_{hy} h_t + b_y)$$

每个时间步都可以产生输出，用隐藏状态经过线性变换 + softmax 得到预测。

训练：BPTT（时序反向传播）

损失函数对所有时间步求和，梯度沿时间展开的计算图反向传播：

$$L = \sum_{t=1}^{T} L_t(\hat{y}_t, y_t)$$
为什么会梯度消失？
反向传播时，梯度要连乘 $W_{hh}$ 矩阵 $T$ 次。如果 $W_{hh}$ 的特征值 < 1，梯度指数衰减→梯度消失；> 1 则梯度爆炸。这就是 LSTM/GRU 被发明的原因——它们用"门控"机制让梯度可以直通。