Python 中文分词利器：jieba 库快速入门与实战指南

例如：

text = "李小龙是中国功夫之王"
print("/".join(jieba.cut(text)))

默认输出可能是：

李/小龙/是/中国/功夫/之/王

你可能希望'李小龙'被识别为一个整体，此时可以通过自定义词典来实现。

方法一：动态添加词语

jieba.add_word("李小龙")
print("/".join(jieba.cut(text)))

输出变为：

李小龙/是/中国/功夫/之/王

方法二：加载外部词典文件

假设你有一个 user_dict.txt 文件，内容如下：

李小龙 10 nr
中国功夫 5 nz

加载方法：

jieba.load_userdict("user_dict.txt")

这样你可以批量添加专有名词、品牌词、地名等。

四、关键词提取

jieba 还支持根据 TF-IDF（词频 - 逆文档频率）算法提取关键词，非常适合文本分析和摘要生成。

import jieba.analyse
text = "人工智能是计算机科学的一个分支，它企图理解智能的实质，并生产出一种新的能以人类智能方式行动的机器。"
keywords = jieba.analyse.extract_tags(text, topK=5, withWeight=True)
print("关键词提取结果：")
for word, weight in keywords:
    print(f"{word} ({weight:.3f})")

输出示例：

关键词提取结果：
智能 (1.234)
计算机 (0.923)
科学 (0.612)
机器 (0.512)
理解 (0.438)

这些关键词代表了文本的主要语义。

五、词性标注

结合 jieba.posseg 模块可以为每个词标注词性（如名词、动词等）。

import jieba.posseg as pseg
words = pseg.cut("我爱自然语言处理")
for word, flag in words:
    print(f"{word} ({flag})")

输出结果：

我 (r)
爱 (v)
自然语言处理 (n)

常见词性缩写说明：

六、并行分词

当需要处理大规模文本时，jieba 提供了并行分词功能。

jieba.enable_parallel(4)  # 使用 4 个线程
text = "非常长的一段文本..."
words = jieba.cut(text)
jeiba.disable_parallel()

注意：并行分词在 Windows 上可能不稳定，建议在 Linux 或 macOS 环境使用。

七、完整示例：生成词云

下面是一个完整的流程示例，从分词到生成词云图。

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt

text = "我爱自然语言处理，Python 让中文分词变得如此简单。"
# 分词
words = jieba.cut(text)
text_cut = " ".join(words)

# 生成词云
wc = WordCloud(font_path="msyh.ttc", width=600, height=400).generate(text_cut)
plt.imshow(wc, interpolation="bilinear")
plt.axis("off")
plt.show()

运行后将输出一张中文词云图，直观展示高频词。

八、API 速查表

九、总结

jieba 是 Python 中文文本处理的首选工具，功能全面、上手快、效果好。通过灵活选择分词模式、配置自定义词典以及利用并行处理，可以高效解决各类 NLP 基础任务。