Python 基于文本拆分与 TF-IDF 的《红楼梦》关键词分析

Python 基于文本拆分与 TF-IDF 的《红楼梦》关键词分析 | 极客日志

import os
import re
import pandas as pd

# ===================== 核心优化：适配文本格式 + 解决报错 =====================
# 1. 确保保存目录存在（避免路径不存在报错）
output_dir = r'.\红楼梦\分卷 1'
os.makedirs(output_dir, exist_ok=True)

# 2. 打开源文件（使用 with 语句自动关闭，更安全）
with open(r'.\红楼梦\红楼梦.txt', encoding='utf-8') as file:
    flag = 0  # 用来标记当前是不是在第一次保存文件
    juan_file = None  # 初始化文件对象，避免未定义报错
    
    # 定义：清理 Windows 非法文件名字符（解决 OSError 报错）
    def clean_filename(filename):
        illegal_chars = r'[\\/:*?"<>|，。？！；："''《》()（）【】]'
        clean_name = re.sub(illegal_chars, '', filename)
        return clean_name[:50] + '.txt'

    # 定义：精准匹配'卷 + 回'标题（适配文本中'上卷 第一回 XXX'格式）
    chapter_pattern = re.compile(r'^[ \s]*([上下]卷\s+第 [一二三四五六七八九十百零]+回.*)$', re.MULTILINE)

    for line in file:
        line_strip = line.strip()
        match = chapter_pattern.match(line_strip)
        if match:
            juan_title = match.group(1).strip()
            juan_name = clean_filename(juan_title)
            path = os.path.join(output_dir, juan_name)
            print(f"正在创建文件：{path}")
            
            if flag == 0:
                if juan_file:
                    juan_file.close()
                juan_file = open(path, 'w', encoding='utf-8')
                juan_file.write(line)
                flag = 1
            else:
                juan_file.close()
                juan_file = open(path, 'w', encoding='utf-8')
                juan_file.write(line)
            continue
            
        if juan_file is not None:
            juan_file.write(line)

if juan_file:
    juan_file.close()
print(f"\n✅ 拆分完成！共生成{flag}个卷文件，保存在：{output_dir}")

import pandas as pd
import os

filePaths = []
fileContents = []

for root, dirs, files in os.walk(r'.\红楼梦\分卷 1'):
    for name in files:
        filePath = os.path.join(root, name)
        filePaths.append(filePath)
        f = open(filePath, 'r', encoding='utf-8')
        fileContent = f.read()
        f.close()
        fileContents.append(fileContent)

corpos = pd.DataFrame({
    'filePath': filePaths,
    'fileContent': fileContents
})
print(corpos)

import jieba
import pandas as pd

jieba.load_userdict(r'.\红楼梦\红楼梦词库.txt')
stopwords = pd.read_csv(r'.\红楼梦\StopwordsCN.txt', encoding='utf8', engine='python', index_col=False)
file_to_jieba = open(r'.\红楼梦\分词后汇总 1.txt', 'w', encoding='utf-8')

for index, row in corpos.iterrows():
    fileContent = row['fileContent']
    segs = jieba.cut(fileContent)
    juan_ci = ''
    for seg in segs:
        if seg not in stopwords.iloc[:, 0].values and len(seg.strip()) > 0:
            juan_ci = juan_ci + seg + ' '
    file_to_jieba.write(juan_ci + '\n')

file_to_jieba.close()

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

inFile = open(r".\红楼梦\分词后汇总 1.txt", 'r', encoding='utf-8')
corpus = inFile.readlines()
vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform(corpus)
wordlist = vectorizer.get_feature_names_out()
df = pd.DataFrame(tfidf.T.todense(), index=wordlist)

for i in range(len(corpus)):
    featurelist = df.iloc[:, i].to_list()
    resdict = {}
    for j in range(0, len(wordlist)):
        resdict[wordlist[j]] = featurelist[j]
    resdict = sorted(resdict.items(), key=lambda x: x[1], reverse=True)
    print('第{}回的核心关键词：'.format(i+1), resdict[0:10])

Python 基于文本拆分与 TF-IDF 的《红楼梦》关键词分析

一、技术栈准备

二、实战步骤：从文本拆分到关键词提取

（一）步骤 1：拆分《红楼梦》为 120 个章节文件

（二）步骤 2：结构化读取章节数据

（三）步骤 3：中文分词 + 停用词过滤

（四）步骤 4：TF-IDF 提取核心关键词

更多推荐文章

相关免费在线工具

Python 基于文本拆分与 TF-IDF 的《红楼梦》关键词分析

一、技术栈准备

二、实战步骤：从文本拆分到关键词提取

（一）步骤 1：拆分《红楼梦》为 120 个章节文件

（二）步骤 2：结构化读取章节数据

（三）步骤 3：中文分词 + 停用词过滤

（四）步骤 4：TF-IDF 提取核心关键词

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具