Python 自然语言处理实战：基于《红楼梦》的文本挖掘与关键词提取

3.3 关键技术点说明

1. 目录创建：使用 os.makedirs() 创建'分卷'目录，通过 os.path.exists() 判断目录是否存在，避免重复创建报错；
2. 文件名清洗：自定义 clean_filename() 函数，处理全角空格、非法字符等问题，例如将'卷第一回.txt'清理为'卷_第一回.txt'，保证文件可正常创建；
3. 文件写入逻辑：通过 flag 标记控制文件创建时机，确保每个分卷内容写入对应文件，避免内容混淆。

3.4 结果验证

运行代码后，'分卷'目录下会生成各卷对应的.txt 文件，打开任意文件可验证内容是否与对应章节匹配，确保分卷无遗漏、无错乱。

四、核心步骤 2：分卷文本结构化存储

分卷完成后，需将所有分卷文件的路径和内容读取并存储为 DataFrame 格式，为后续分词和关键词提取提供结构化数据支撑。

4.1 核心代码实现

# 初始化存储列表
filePaths = []
fileContents = []

# 遍历分卷目录，读取所有分卷文件
for root, dirs, files in os.walk(r'分卷'):
    for name in files:
        filePath = os.path.join(root, name)
        filePaths.append(filePath) # 异常处理：避免单个文件读取失败导致程序中断
        try:
            with open(filePath, 'r', encoding='utf-8') as f:
                fileContent = f.read()
        except Exception as e:
            print(f"读取文件{filePath}失败：{e}")
        fileContents.append(fileContent)

# 构建 DataFrame，结构化存储文件路径和内容
corpos = pd.DataFrame({
    'filePath': filePaths,
    'fileContent': fileContents
})
print("分卷文本结构化存储完成，数据量：", len(corpos))
print(corpos.head()) # 预览前 5 条数据

4.2 关键技术点说明

1. 目录遍历：使用 os.walk() 递归遍历'分卷'目录，获取所有分卷文件的路径；
2. 异常处理：通过 try-except 捕获文件读取异常（如编码错误、文件损坏等），即使单个文件读取失败，程序仍可继续执行；
3. 结构化存储：利用 pandas.DataFrame 存储文件路径和内容，便于后续按行（按卷）进行分词处理。

五、核心步骤 3：中文分词与停用词过滤

中文文本无天然分隔符，需通过分词工具将连续文本拆分为独立词汇，同时过滤停用词，保留有意义的核心词汇，为关键词提取奠定基础。

5.1 分词与停用词过滤核心代码

import jieba

# 加载自定义词库，提升《红楼梦》专属词汇分词准确性
jieba.load_userdict(r'红楼梦词库.txt')

# 读取停用词表，转为集合提升查询效率
stopwords = pd.read_csv(r'StopwordsCN.txt', encoding='utf8', engine='python', index_col=False)
stopwords_set = set(stopwords.stopword.dropna().values)

# 初始化分词结果文件
file_to_jieba = open(r'分词后汇总.txt', 'w', encoding='utf8')

# 遍历分卷文本，逐卷分词并过滤停用词
for index, row in corpos.iterrows():
    fileContent = row['fileContent']
    segs = jieba.cut(fileContent) # 精准分词
    
    # 初始化当前卷的分词字符串
    current_row_words = []
    
    for seg in segs:
        seg_stripped = seg.strip() # 过滤停用词和空字符串
        if seg_stripped not in stopwords_set and len(seg_stripped) > 0:
            current_row_words.append(seg_stripped)
    
    # 写入分词结果，每行对应一卷
    file_to_jieba.write(' '.join(current_row_words) + '\n')

file_to_jieba.close()
print("分词与停用词过滤完成，结果已保存至：分词后汇总.txt")

5.2 关键技术点说明

1. 自定义词库加载：jieba.load_userdict() 加载《红楼梦》专属词库，解决通用分词对'贾宝玉''荣国府'等专有名词拆分错误的问题（例如避免'林黛玉'被拆分为'林''黛玉'）；
2. 停用词处理：将停用词转为集合（set），利用集合 O(1) 的查询效率，大幅提升停用词过滤速度；
3. 分词逻辑：使用 jieba.cut() 进行精准分词，过滤空字符串和停用词后，将有效词汇用空格分隔，便于后续 TF-IDF 算法处理；
4. 结果保存：将每卷的分词结果写入 分词后汇总.txt，每行对应一卷的分词内容，保证数据格式统一。

5.3 分词效果验证

打开 分词后汇总.txt，任意查看一行内容，例如某卷分词结果为'林黛玉 贾宝玉 大观园 贾母 吃饭 聊天……'，无停用词、无空字符串，说明分词和过滤效果符合预期。

六、核心步骤 4：基于 TF-IDF 的关键词提取

TF-IDF（词频 - 逆文档频率）是 NLP 中经典的关键词提取算法，核心思想是：一个词汇在某文档中出现频率越高，且在所有文档中出现频率越低，其作为该文档关键词的权重越高。

6.1 关键词提取核心代码

from sklearn.feature_extraction.text import TfidfVectorizer

# 读取分词后的数据
inFile = open(r'分词后汇总.txt', 'r', encoding='utf8')
corpus = inFile.readlines()
inFile.close()

# 初始化 TF-IDF 向量化器
vectorizer = TfidfVectorizer()

# 对分词文本进行 TF-IDF 计算
tfidf = vectorizer.fit_transform(corpus)

# 获取所有词汇列表
wordlist = vectorizer.get_feature_names_out()

# 将 TF-IDF 结果转为 DataFrame，便于按列（按卷）分析
df = pd.DataFrame(tfidf.T.todense(), index=wordlist)

# 提取每卷的 TOP10 关键词
for i in range(len(corpus)):
    featurelist = df.iloc[:, i].to_list()
    resdict = {}
    # 构建词汇 - 权重字典
    for j in range(0, len(wordlist)):
        resdict[wordlist[j]] = featurelist[j]
    # 按权重降序排序，取 TOP10
    resdict_sorted = sorted(resdict.items(), key=lambda x: x[1], reverse=True)
    print(f'第{i+1}卷的核心关键词:', resdict_sorted[0:10])

6.2 关键技术点说明

1. TF-IDF 向量化：TfidfVectorizer() 默认将文本转为 TF-IDF 权重矩阵，行为词汇，列为文档（此处为分卷），矩阵值为对应词汇在对应文档中的 TF-IDF 权重；
2. 词汇列表获取：get_feature_names_out()（替代已废弃的 get_feature_names()）获取所有参与计算的词汇列表，与权重矩阵行一一对应；
3. 关键词排序：通过字典存储词汇 - 权重映射，利用 sorted() 按权重降序排序，取前 10 个词汇作为该卷核心关键词。

6.3 结果解读

运行代码后，控制台会输出每卷的 TOP10 关键词，例如：

• 第一卷核心关键词：['石头', '僧道', '红楼梦', '通灵宝玉', '贾雨村', '甄士隐', '姑苏', '葫芦庙', '丫鬟', '老爷']；
• 第二十卷核心关键词：['林黛玉', '贾宝玉', '紫鹃', '袭人', '贾母', '王夫人', '大观园', '吃饭', '聊天', '生病']。

这些关键词精准反映了对应章节的核心人物、情节和场景，验证了 TF-IDF 算法在经典文本关键词提取中的有效性。

七、总结

本文以《红楼梦》为案例，完整实现了从文本分卷、结构化存储、分词过滤到 TF-IDF 关键词提取的全流程 NLP 实战。核心技术点包括：

1. 文本分卷：通过文件操作和字符串匹配实现大文本拆分，解决经典文本结构化问题；
2. 中文分词：结合自定义词库和停用词过滤，提升中文文本处理准确性；
3. 关键词提取：基于 TF-IDF 算法挖掘文本核心信息，实现经典文本的量化分析。

本实战代码具备高可复用性，只需替换原始文本、自定义词库和停用词表，即可适配任意中文文本的处理分析。通过本次实战，不仅能掌握 Python NLP 基础技能，更能以技术视角重新解读经典文本，为文学研究提供量化支撑。

未来可进一步结合词向量、情感分析、主题模型等进阶技术，深入挖掘《红楼梦》的文本价值，实现经典文学与现代技术的深度融合。