Python 基于文本拆分与 TF-IDF 的《红楼梦》关键词分析

• 正则匹配：覆盖《红楼梦》所有回目标题格式，确保 120 回都能被精准识别；
• 文件名清理：避免因特殊字符导致文件创建失败；
• 文件管理：通过 juan_file 变量管理当前写入的文件，确保章节内容正确归属。

（二）步骤 2：结构化读取章节数据

import pandas as pd
import os

filePaths = []
fileContents = []

for root, dirs, files in os.walk(r'.\红楼梦\分卷 1'):
    for name in files:
        filePath = os.path.join(root, name)
        filePaths.append(filePath)
        f = open(filePath, 'r', encoding='utf-8')
        fileContent = f.read()
        f.close()
        fileContents.append(fileContent)

corpos = pd.DataFrame({
    'filePath': filePaths,
    'fileContent': fileContents
})
print(corpos)

• 目录遍历：自动获取所有章节文件，无需手动指定路径；
• 结构化存储：将文件路径和内容关联，便于后续按章节处理。

（三）步骤 3：中文分词 + 停用词过滤

import jieba
import pandas as pd

jieba.load_userdict(r'.\红楼梦\红楼梦词库.txt')
stopwords = pd.read_csv(r'.\红楼梦\StopwordsCN.txt', encoding='utf8', engine='python', index_col=False)
file_to_jieba = open(r'.\红楼梦\分词后汇总 1.txt', 'w', encoding='utf-8')

for index, row in corpos.iterrows():
    fileContent = row['fileContent']
    segs = jieba.cut(fileContent)
    juan_ci = ''
    for seg in segs:
        if seg not in stopwords.iloc[:, 0].values and len(seg.strip()) > 0:
            juan_ci = juan_ci + seg + ' '
    file_to_jieba.write(juan_ci + '\n')

file_to_jieba.close()

• 自定义词库：解决 jieba 对'贾宝玉、林黛玉'等古典文学词汇的识别问题；
• 停用词过滤：移除无意义词汇，仅保留核心语义词汇，提升后续分析准确性。

（四）步骤 4：TF-IDF 提取核心关键词

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

inFile = open(r".\红楼梦\分词后汇总 1.txt", 'r', encoding='utf-8')
corpus = inFile.readlines()
vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform(corpus)
wordlist = vectorizer.get_feature_names_out()
df = pd.DataFrame(tfidf.T.todense(), index=wordlist)

for i in range(len(corpus)):
    featurelist = df.iloc[:, i].to_list()
    resdict = {}
    for j in range(0, len(wordlist)):
        resdict[wordlist[j]] = featurelist[j]
    resdict = sorted(resdict.items(), key=lambda x: x[1], reverse=True)
    print('第{}回的核心关键词：'.format(i+1), resdict[0:10])

• TF-IDF 向量转换：将分词文本转为数学矩阵，量化词汇重要性；
• 关键词排序：按 TF-IDF 值降序排序，提取前 10 个关键词，快速定位章节核心内容。