NLP 文本特征处理：n-gram 特征与长度规范详解

2.2.2 示例输出

运行代码后，输出结果为：

{(1, 2), (2, 3), (3, 4), (4, 5)}

此结果表示从输入序列中成功提取了所有的 bi-gram 特征。

2.3 应用场景

n-gram 特征广泛应用于以下任务：

• 文本分类：通过捕捉词与词之间的关联，提升分类任务的准确率。
• 情感分析：通过 n-gram 特征捕捉短语的情感表达，例如'非常好'或'不是很差'。
• 机器翻译：在双语句对中，n-gram 可以帮助捕捉语序信息，提高翻译质量。

通过合理地提取和使用 n-gram 特征，可以显著增强模型的性能。

2.3.1 优势

• 上下文捕捉：n-gram 特征可以捕捉上下文中词的依赖关系，补充单一词汇的不足。
• 简单易用：特征提取逻辑清晰，易于实现。

2.3.2 局限性

• 特征稀疏：随着 n 的增大，特征空间会迅速膨胀，导致稀疏性问题。
• 长距离依赖不足：n-gram 特征只能捕捉固定窗口内的关系，无法覆盖全局语义。

为了解决这些问题，可以结合更高级的特征生成方法，如 TF-IDF 或预训练词向量。

三、文本长度规范的概念与实现

3.1 文本长度规范的作用

3.1.1 基本概念

在深度学习模型中，输入通常需要是等长的张量（矩阵）。然而，真实的文本数据长度各异，因此必须对文本进行长度规范化处理。这个过程包括：

1. 截断超长文本：对于长度超过指定值的文本，取前 n 个词或字符，舍弃多余部分。
2. 补齐短文本：对于长度不足的文本，用特定占位符（如数字 0）填充到指定长度。

文本长度规范的目标是保证所有输入数据的长度一致，从而满足模型的输入需求。

3.1.2 作用与意义

文本长度规范在实际应用中具有以下优势：

• 提高计算效率：统一输入长度可以加速张量计算，减少内存浪费。
• 优化模型性能：避免因数据长度不一致而导致模型训练失败或结果不稳定。
• 提升兼容性：确保同一批次的输入数据能够顺利通过模型。

例如，在情感分析、文本分类等任务中，长度规范化是数据预处理的必经步骤。

3.2 文本长度规范的实现

3.2.1 实现方法

在 PyTorch 中，可以使用 torch.nn.utils.rnn.pad_sequence 对文本序列进行长度规范化。该函数支持对不定长的序列进行补齐操作，生成等长的张量。

（1）示例代码

以下是使用 PyTorch 实现文本长度规范的代码：

import torch
from torch.nn.utils.rnn import pad_sequence

def pad_text_sequences(sequences, maxlen, padding_value=0):
    """
    对输入文本序列进行长度规范化
    :param sequences: 文本序列的列表，形如 [[1, 2, 3], [4, 5]]
    :param maxlen: 规范化的最大长度
    :param padding_value: 补齐时的填充值
    :return: 规范化后的文本序列
    """
    # 将所有序列转为张量，并截断或补齐到指定长度
    padded_sequences = []
    for seq in sequences:
        seq = torch.tensor(seq[:maxlen])  # 截断超长文本
        if len(seq) < maxlen:
            seq = torch.cat([seq, torch.tensor([padding_value] * (maxlen - len(seq)))])  # 补齐不足文本
        padded_sequences.append(seq)
    return torch.stack(padded_sequences)

# 示例调用
sequences = [[1, 2, 3, 4, 5, 6], [7, 8, 9]]
maxlen = 5
result = pad_text_sequences(sequences, maxlen)
print(result)

（2）示例输出

运行上述代码后，输出结果为：

tensor([[1, 2, 3, 4, 5],
        [7, 8, 9, 0, 0]])

3.2.2 PyTorch 代码解析

截断操作：

• 使用 seq[:maxlen] 截断超长文本，保留前 maxlen 个词（或字符）。

补齐操作：

• 如果序列长度不足 maxlen，通过 torch.cat 函数在末尾添加填充值（默认为 0）。

张量操作：

• 使用 torch.stack 将所有补齐后的张量组合为统一形状的张量，便于模型处理。

3.2.3 使用 pad_sequence 简化实现

如果所有序列未超出 maxlen，可以直接用 pad_sequence 简化补齐逻辑。以下是优化后的代码：

def pad_text_sequences_with_pad_sequence(sequences, maxlen, padding_value=0):
    """
    使用 torch.nn.utils.rnn.pad_sequence 实现长度规范化
    :param sequences: 文本序列的列表，形如 [[1, 2, 3], [4, 5]]
    :param maxlen: 规范化的最大长度
    :param padding_value: 补齐时的填充值
    :return: 规范化后的文本序列
    """
    tensors = [torch.tensor(seq[:maxlen]) for seq in sequences]  # 截断超长文本
    padded_tensors = pad_sequence(tensors, batch_first=True, padding_value=padding_value)
    return padded_tensors[:, :maxlen]  # 确保补齐后形状与 maxlen 一致

# 示例调用
sequences = [[1, 2, 3, 4, 5, 6], [7, 8, 9]]
maxlen = 5
result = pad_text_sequences_with_pad_sequence(sequences, maxlen)
print(result)

输出结果

tensor([[1, 2, 3, 4, 5],
        [7, 8, 9, 0, 0]])

3.2.4 PyTorch 实现的优势

• 灵活性：可以直接操作张量，对序列进行截断和补齐操作。
• 高效性：PyTorch 内置的 pad_sequence 提供了高效的序列补齐方法。
• 控制力：用户可以自由设定填充值、长度等参数，满足不同场景需求。

3.2.5 应用场景

1. 文本分类：输入文本统一长度后，可直接用于分类任务的模型训练。
2. 序列生成：在序列生成任务中，为输入文本提供固定长度以便与目标对齐。
3. 序列对齐：在机器翻译中，源语言和目标语言文本可以用此方法进行长度对齐。

四、小结

在本文中，深入探讨了文本特征处理的核心技术，主要包括：

文本特征处理的作用：

• 通过添加特征和规范化操作，提升模型的语义理解能力与计算效率。

添加 n-gram 特征：

• 捕捉文本中相邻词（或字）的共现关系，增强上下文理解。
• 实现了一个通用的 n-gram 特征提取函数。

文本长度规范：

• 通过截断与补齐操作，保证输入数据的长度一致性。
• 使用 pad_sequences 函数实现了文本长度的规范化。