BPE 是一种基于频率统计的子词分词算法，通过迭代合并高频字符对构建词汇表。它解决了开放词汇问题，适用于多语言场景和深度学习模型。文章介绍了 BPE 的原理、训练与应用步骤、优缺点及变种，并提供了 Python 代码实现与详细解析。
在自然语言处理（NLP）和深度学习领域，分词（tokenization）是一个至关重要的预处理步骤。传统的分词方法，如基于空格的分词或词典匹配，往往无法很好地处理开放词汇问题（open vocabulary problem），特别是在多语言场景或包含大量新词、罕见词的情况下。为了解决这一问题，Byte Pair Encoding（简称 BPE）算法应运而生。BPE 最初用于数据压缩，后来被引入到 NLP 中，成为现代语言模型（如 GPT、BART 和 BERT 的变体）中常用的分词技术。
BPE 最早由 Philip Gage 在 1994 年提出，用于数据压缩领域。其核心思想是通过迭代合并频率最高的字节对（byte pair），将原始数据压缩为更紧凑的表示。2015 年，Sennrich 等人将 BPE 引入 NLP，用于神经机器翻译（Neural Machine Translation, NMT），并将其适配为一种子词级别（subword-level）的分词方法。
BPE 的基本思想可以用一句话概括：从字符级别开始，通过统计频率最高的字符对或子词对，逐步构建一个词汇表，用于表示文本中的单词或子词单元。 这种方法既能保留词的语义信息，又能灵活处理未见过的新词（out-of-vocabulary, OOV），在深度学习模型中表现出色。
BPE 的实现分为两个主要阶段：训练阶段（构建词汇表）和应用阶段（分词）。以下是详细步骤：
</w>），以区分词内字符和词间边界。例如，单词 'cat' 被初始化为 c a t </w>。l o: 8 次（5 次来自 "low"，3 次来自 "lower"）
o w: 8 次（5 次来自 "low"，3 次来自 "lower"）
w </w>: 9 次（5 次来自 "low"，4 次来自 "new"）
l o 是频率最高的对，则将其合并为 lo，更新语料库中的表示：
"low": lo w </w>, 5 次
"lower": lo w e r </w>, 3 次
"new": n e w </w>, 4 次
lo w 为 low，最终词汇表可能包含：
[l, o, w, e, r, n, </w>, lo, low, new, ...]
在应用阶段，BPE 使用训练好的词汇表将新输入的文本进行分词。具体步骤如下：
l o w e s t </w>。l o，发现 lo 在词汇表中，合并为 lo w e s t </w>。lo w，发现 low 在词汇表中，合并为 low e s t </w>。e s，不在词汇表中，继续检查 e s t，不在词汇表中，最终结果可能是 low e s t </w>。[low, e, s, t]，作为模型的输入 token。BPE 的核心是基于频率的贪心算法，但其背后蕴含了一些统计学和信息论的原理：
假设语料库大小为 N 个单词，初始字符集合为 C，每次合并会减少 token 数量，最终词汇表大小 V 是超参数。合并次数 K=V−|C| 决定了算法的复杂度，通常为 O(N·K)。
un 和 seen，甚至进一步分解为字符。play 和 ing，但对模型理解词性无直接帮助。BPE 在现代深度学习模型中广泛应用，尤其是在 Transformer 架构的语言模型中：
例如，在 GPT 中，输入文本 'The quick brown fox' 可能被 BPE 分词为：
[The, qu, ick, br, own, f, ox]
这些子词被映射为 token ID，输入到模型中。
BPE 衍生出了一些改进版本，解决了部分局限性：
Byte Pair Encoding (BPE) 是一种简单而强大的分词算法，通过迭代合并高频字符对，从字符级别逐步构建子词词汇表。它在深度学习中解决了开放词汇问题，提高了模型对新词和多语言的支持能力。尽管存在语义缺失等局限性，其高效性和灵活性使其成为 NLP 领域的标配工具。对于深度学习研究者而言，理解 BPE 的原理和实现细节，不仅有助于优化分词策略，还能启发对预处理和模型设计的深入思考。
未来，随着语言模型的发展，BPE 可能会进一步与语义信息结合，或被更智能的分词方法取代。但在当下，它仍是连接原始文本与神经网络的重要桥梁。
提供使用 Python 实现的 BPE 训练和应用代码，并详细解释每个部分的功能。代码将包括注释以便深度学习研究者理解其工作原理。
以下是完整的实现，分为训练阶段和应用阶段：
# 导入所需库
from collections import defaultdict, Counter
import re
# BPE 训练函数
def train_bpe(corpus, vocab_size=1000):
"""
训练 BPE 模型，生成词汇表
:param corpus: 输入语料库（单词列表）
:param vocab_size: 目标词汇表大小
:return: 词汇表（子词集合）
"""
# 步骤 1：初始化单词为字符序列，添加词尾标记 </w>
word_freq = Counter(corpus)
vocab = set()
word_splits = {}
for word in word_freq:
chars = list(word) + ['</w>']
word_splits[word] = chars
vocab.update(chars)
# 步骤 2：迭代合并频率最高的字符对
while len(vocab) < vocab_size:
pair_freq = defaultdict(int)
for word, freq in word_freq.items():
chars = word_splits[word]
for i in range(len(chars)-1):
pair = (chars[i], chars[i+1])
pair_freq[pair] += freq
if not pair_freq:
break
# 找到频率最高的字符对
best_pair = max(pair_freq, key=pair_freq.get)
new_token = ''.join(best_pair)
# 步骤 3：更新所有单词的分割，合并 best_pair
for word in word_freq:
chars = word_splits[word]
i = 0
new_chars = []
while i < len(chars):
if i < len(chars)-1 and (chars[i], chars[i+1]) == best_pair:
new_chars.append(new_token)
i += 2
else:
new_chars.append(chars[i])
i += 1
word_splits[word] = new_chars
vocab.add(new_token)
return vocab
# BPE 分词函数
def apply_bpe(word, vocab):
"""
对单个单词应用 BPE 分词
:param word: 输入单词
:param vocab: 训练好的词汇表
:return: 分词后的子词列表
"""
# 步骤 1：初始化为字符序列并添加词尾标记
if not word:
return []
chars = list(word) + ['</w>']
# 步骤 2：贪心合并，直到无法合并为止
while True:
pairs = [(chars[i], chars[i+1]) for i in range(len(chars)-1)]
mergeable = [''.join(pair) for pair in pairs if ''.join(pair) in vocab]
if not mergeable:
break
best_merge = mergeable[0]
new_chars = []
i = 0
while i < len(chars):
if i < len(chars)-1 and ''.join(chars[i:i+2]) == best_merge:
new_chars.append(best_merge)
i += 2
else:
new_chars.append(chars[i])
i += 1
chars = new_chars
return chars
# 测试代码
def main():
corpus = ["low","low","lower","lowest","new","newer"]
print("原始语料库:", corpus)
vocab_size = 10
vocab = train_bpe(corpus, vocab_size)
print("训练得到的词汇表:", sorted(vocab))
test_words = ["low","lowest","newest"]
for word in test_words:
tokens = apply_bpe(word, vocab)
print(f"单词 '{word}' 分词结果：{tokens}")
if __name__ == "__main__":
main()
train_bpe 函数)输入：
corpus：一个单词列表，表示训练语料库。vocab_size：目标词汇表大小，控制子词数量。步骤：
Counter 统计每个单词的频率。</w>，存储在 word_splits 字典中。vocab，包含所有单个字符和词尾标记。"low" → ['l', 'o', 'w', '</w>']。defaultdict 累加频率，考虑单词本身的出现次数。max 找到频率最高的字符对，合并为新子词。vocab_size 或无可合并的字符对。vocab。输出：
复杂度：
apply_bpe 函数)输入：
word：待分词的单词。vocab：训练好的词汇表。步骤：
vocab 中。复杂度：
main 函数)["low", "low", "lower", "lowest", "new", "newer"]。vocab_size=10，生成词汇表。["low", "lowest", "newest"] 进行分词。输出示例：
原始语料库：['low', 'low', 'lower', 'lowest', 'new', 'newer']
训练得到的词汇表：['</w>', 'e', 'er', 'l', 'lo', 'low', 'n', 'o', 's', 'w']
单词 'low' 分词结果：['low']
单词 'lowest' 分词结果：['low', 'e', 's', 't']
单词 'newest' 分词结果：['n', 'e', 'w', 'e', 's', 't']
vocab_size 需要根据任务调整。过小会导致常见词被拆散，过大则失去子词优势。tokenizers 库，它们是 BPE 的优化实现。这个实现展示了 BPE 的核心逻辑，适合研究者理解其原理并进行实验。
在代码实现中，使用了 defaultdict 来统计字符对频率。以下是对该函数的说明。
defaultdict？defaultdict 是 Python 标准库 collections 模块中的一个类，它是普通字典（dict）的一个子类。它的特别之处在于：当你访问一个不存在的键时，defaultdict 会自动为这个键提供一个默认值，而不是抛出 KeyError 异常。这个默认值由你指定的工厂函数（factory function）决定。
在代码中，defaultdict(int) 表示创建一个 defaultdict，其默认值由 int() 提供。调用 int() 不带参数时返回 0，因此 defaultdict(int) 的默认值是 0。
在这段 BPE 训练代码中，pair_freq 是一个用于统计字符对频率的字典。它的键是字符对（例如 ('l', 'o')），值是该字符对在语料库中的出现频率。使用 defaultdict(int) 的好处在于：
使用 defaultdict(int)，当访问一个不存在的键时，它会自动初始化为 0，因此可以直接写：
pair_freq[pair] += freq
如果 pair 是新键，pair_freq[pair] 默认返回 0，然后加上 freq。
如果使用普通字典 dict，当你第一次遇到一个新的字符对时，需要手动检查它是否存在并初始化为 0。
如果用普通字典 dict，代码需要改成：
pair_freq = {}
for word, freq in word_freq.items():
chars = word_splits[word]
for i in range(len(chars)-1):
pair = (chars[i], chars[i+1])
if pair not in pair_freq:
pair_freq[pair] = 0
pair_freq[pair] += freq
多了一行 if pair not in pair_freq: 的检查。虽然功能相同，但代码更冗长。
在这段代码中，defaultdict(int) 是一个高效、简洁的工具，用于统计字符对的频率。它通过自动为新键提供默认值 0，避免了手动初始化的麻烦，使代码更优雅。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online