循环神经网络（RNN）与序列数据处理实战

1.3 经典 RNN 变体——长短期记忆网络（LSTM）

LSTM 是最常用的 RNN 变体。它由 Hochreiter & Schmidhuber 于 1997 年提出。LSTM 通过输入门、遗忘门和输出门的协同作用，实现对历史信息的选择性记忆和遗忘。

1.3.1 LSTM 的门控机制解析

LSTM 的每个循环核内部包含三个关键门控和一个细胞状态：

• 遗忘门：决定哪些历史信息需要被丢弃。通过 sigmoid 函数输出 0~1 之间的数值，0 表示完全遗忘，1 表示完全保留。
• 输入门：决定哪些新信息需要被加入到细胞状态中。分为两步，先通过 sigmoid 函数筛选信息，再通过 tanh 函数生成候选信息。
• 输出门：决定当前细胞状态中哪些信息需要输出作为隐藏状态。通过 sigmoid 函数筛选，再与 tanh 处理后的细胞状态相乘得到输出。
• 细胞状态：LSTM 的核心记忆单元，负责存储长序列的历史信息，通过门控机制实现信息的更新和传递。

1.3.2 LSTM 层的代码实现

from tensorflow.keras.layers import LSTM

# 定义 LSTM 层
# return_state: 是否返回最终的隐藏状态和细胞状态
lstm_layer = LSTM(units=128, return_sequences=False, return_state=True, input_shape=(10, 20))

# 执行 LSTM 计算
output, final_hidden_state, final_cell_state = lstm_layer(input_seq)
print("LSTM 输出形状：", output.shape)
# 输出形状 (32, 128)
print("最终隐藏状态形状：", final_hidden_state.shape)
# 形状 (32, 128)
print("最终细胞状态形状：", final_cell_state.shape)
# 形状 (32, 128)

1.4 实战：基于 LSTM 的文本分类任务

1.4.1 任务介绍与数据集准备

本次实战任务是情感分类。我们将使用 IMDB 电影评论数据集。这个数据集包含 50000 条标注为'正面'或'负面'的电影评论。我们的目标是搭建 LSTM 模型，实现对评论情感倾向的自动判断。

1. 加载 IMDB 数据集，限制词汇表大小为 10000，序列长度统一为 200
2. 将文本序列转换为整数索引序列，超出长度的截断，不足的补零
3. 划分训练集和测试集，训练集 25000 条，测试集 25000 条

from tensorflow.keras.datasets import imdb
from tensorflow.keras.preprocessing.sequence import pad_sequences

# 1. 加载数据集
vocab_size = 10000
max_seq_len = 200
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=vocab_size)

# 2. 序列填充与截断
x_train = pad_sequences(x_train, maxlen=max_seq_len, padding="post", truncating="post")
x_test = pad_sequences(x_test, maxlen=max_seq_len, padding="post", truncating="post")

print("训练集形状：", x_train.shape)
# (25000, 200)
print("测试集形状：", x_test.shape)
# (25000, 200)

1.4.2 搭建 LSTM 文本分类模型

本次模型结构分为三层：嵌入层、LSTM 层、全连接分类层。 嵌入层将整数索引转换为稠密向量，解决文本稀疏问题。LSTM 层捕捉文本序列的上下文依赖。全连接层通过 sigmoid 函数输出情感分类结果。

from tensorflow.keras import Sequential
from tensorflow.keras.layers import Embedding, Dense

# 定义模型
embedding_dim = 128
model = Sequential([
    # 嵌入层：input_dim=词汇表大小，output_dim=嵌入维度，input_length=序列长度
    Embedding(input_dim=vocab_size, output_dim=embedding_dim, input_length=max_seq_len),
    # LSTM 层：128 个隐藏单元
    LSTM(units=128, dropout=0.2, recurrent_dropout=0.2),
    # 全连接分类层：输出 1 个值，sigmoid 激活
    Dense(units=1, activation="sigmoid")
])

# 查看模型结构
model.summary()

1.4.3 模型编译与训练

1. 编译模型：选择 Adam 优化器，二分类交叉熵损失函数，评估指标为准确率
2. 训练模型：设置批次大小 64，训练轮数 5 轮，使用 10% 的训练数据作为验证集
3. 保存训练历史，用于后续绘制损失和准确率曲线

# 1. 编译模型
model.compile(optimizer="adam", loss="binary_crossentropy", metrics=["accuracy"])

# 2. 训练模型
batch_size = 64
epochs = 5
history = model.fit(
    x_train, y_train,
    batch_size=batch_size,
    epochs=epochs,
    validation_split=0.1
)

# 3. 评估模型
test_loss, test_acc = model.evaluate(x_test, y_test)
print(f"测试集准确率：{test_acc:.4f}")

1.4.4 模型优化技巧

技巧 1：使用预训练词向量（如 Word2Vec、GloVe）替换随机初始化的嵌入层，提升文本特征表示能力。 技巧 2：加入双向 LSTM（Bidirectional LSTM），同时捕捉文本的正向和反向上下文依赖。 技巧 3：使用早停法（EarlyStopping），当验证集损失不再下降时停止训练，防止过拟合。

双向 LSTM 层的代码示例：

from tensorflow.keras.layers import Bidirectional

# 替换原 LSTM 层为双向 LSTM
Bidirectional(LSTM(units=128, dropout=0.2, recurrent_dropout=0.2))

早停法的代码示例：

from tensorflow.keras.callbacks import EarlyStopping

# 定义早停回调函数
early_stopping = EarlyStopping(monitor="val_loss", patience=2, restore_best_weights=True)

# 在训练时加入回调
model.fit(x_train, y_train, callbacks=[early_stopping])

1.5 门控循环单元（GRU）简介

GRU 是 LSTM 的简化版本。它将遗忘门和输入门合并为更新门，同时取消了细胞状态，直接使用隐藏状态传递信息。 GRU 的参数数量比 LSTM 更少，训练速度更快。在很多场景下，GRU 可以取得和 LSTM 相当的效果。

GRU 层的代码实现：

from tensorflow.keras.layers import GRU

# 定义 GRU 层
gru_layer = GRU(units=128, return_sequences=True, input_shape=(10, 20))
gru_output = gru_layer(input_seq)
print("GRU 输出形状：", gru_output.shape)

1.6 本章总结

✅ 循环神经网络通过隐藏状态存储历史信息，能够有效处理序列数据的上下文依赖关系。 ✅ LSTM 引入门控机制，解决了基础 RNN 的梯度消失问题，是处理长序列任务的核心模型。 ✅ 在文本分类等序列任务中，LSTM 结合嵌入层可以取得良好效果，双向 LSTM 和早停法等技巧能进一步优化模型性能。