从古诗词到现代文：双向最大匹配算法在不同文本类型中的实战效果剖析
如果你曾经尝试过让计算机理解一句中文，无论是'床前明月光'还是'我今天要去超市买点东西'，你很快就会遇到一个根本性的难题：词与词之间没有空格。这看似简单的问题，却是中文自然语言处理（NLP）的第一道门槛，也是决定后续所有任务质量的基础。分词，就是将连续的字序列切分成有意义的词语序列的过程。而在众多基于词典的分词方法中，双向最大匹配算法（Bi-directional Maximum Matching, BM） 因其简单、高效和相对可靠的特性，至今仍在许多场景下扮演着重要角色。
今天，我们不打算重复教科书上的算法定义，而是想深入一个更具体、也更有趣的领域：当我们将同一套算法，应用于古诗词和现代文这两种语言风格迥异的文本时，会发生什么？古诗词凝练、多单字词、语法灵活；现代文直白、复合词多、结构清晰。这种差异对基于词典的匹配算法提出了截然不同的挑战。理解 BM 算法在这两种文本上的表现差异，不仅能帮助我们更好地使用它，更能让我们洞察中文语言的内在规律，以及算法设计的局限性。无论你是刚踏入 NLP 领域的新手，还是需要处理混合文本内容（如古籍数字化、文学分析）的研究者，这篇文章都将通过具体的案例对比和实战代码，带你一探究竟。
1. 重温核心：FMM、BMM 与 BM 算法的本质
在深入对比之前，我们有必要快速厘清正向最大匹配（FMM）、逆向最大匹配（BMM）以及它们的结合体——双向最大匹配（BM）的核心逻辑。这不仅仅是概念回顾，更是理解其在不同文本上表现差异的基础。
正向最大匹配（FMM） 的思路非常直观：它像一个从左到右的'贪婪'阅读者。给定一个句子和一部词典，算法总是试图从当前句子的最左端开始，切分出词典中存在的最长可能的词。如果匹配失败，就缩短匹配长度，直到成功匹配到一个词或只剩下一个字。这个过程不断重复，直到扫描完整个句子。
def forward_maximum_matching(text, word_dict, max_len):
"""
正向最大匹配分词
:param text: 待分词字符串
:param word_dict: 词典集合
:param max_len: 词典中最长词的长度
:return: 分词结果列表
"""
result = []
index = 0 # 当前扫描起始位置
text_length = len(text)
while index < text_length:
matched = False
# 从最大可能长度开始尝试
for length in range(min(max_len, text_length - index), 0, -1):
word = text[index:index + length]
if word in word_dict:
result.append(word)
index += length
matched = True
break
# 如果未匹配到任何词，按单字切分
if not matched:
result.append(text[index])
index += 1
result
