Python 爬虫抓取小说并保存为 TXT 文件教程

• 关键步骤：通过浏览器开发者工具（F12）查看章节列表的 HTML 结构，找到对应的标签（如 div#list a），从而精准提取链接和标题。

第三步：爬取单个章节内容

添加提取章节正文的函数：

def get_chapter_content(chapter_url):
    """根据章节链接，提取正文内容"""
    try:
        response = requests.get(chapter_url, headers=headers, timeout=10)
        response.encoding = response.apparent_encoding
        soup = BeautifulSoup(response.text, "html.parser")
        
        # 定位正文内容（同样根据网站结构调整，示例网站正文在 div#content 中）
        content_div = soup.find("div")
        if not content_div:
            return "正文获取失败"
        
        # 提取正文文本，去除多余空格和换行
        content = content_div.text.strip()
        
        # 替换网站自带的换行符（根据实际情况调整）
        content = content.replace("\n\n", "\n").replace(" ", " ")
        return content
    except Exception as e:
        print(f"获取章节内容失败：{e}")
        return "正文获取失败"

• 注意：不同网站的正文标签可能不同（如 div.class_name、article 等），需通过开发者工具确认。

第四步：保存内容到 txt 文件

添加保存文件的函数，将所有章节按顺序写入：

def save_to_txt(chapters, novel_name="诡秘之主"):
    """将所有章节内容保存为 txt 文件"""
    # 拼接保存路径（默认保存在当前文件夹，文件名为小说名）
    file_path = f"{novel_name}.txt"
    
    with open(file_path, "w", encoding="utf-8") as f:
        for i, chapter in enumerate(chapters, 1):
            title = chapter["title"]
            url = chapter["url"]
            print(f"正在爬取第 {i}/{len(chapters)} 章：{title}")
            
            # 获取正文
            content = get_chapter_content(url)
            
            # 写入文件（标题 + 正文，换行分隔）
            f.write(f"【{title}】\n\n{content}\n\n")
            
            # 延迟 1-2 秒，避免请求过快被反爬
            time.sleep(1.5)
    
    print(f"\n小说已成功保存到：{file_path}")

• encoding="utf-8"：确保中文内容正常显示，避免乱码；
• time.sleep(1.5)：控制爬取速度，模拟人类浏览行为，降低被封 IP 的风险。

第五步：主函数整合所有逻辑

最后添加主函数，调用上述功能：

if __name__ == "__main__":
    # 1. 获取章节列表
    chapters = get_chapter_list()
    if not chapters:
        print("爬取失败，退出程序")
        exit()
    
    # 2. 保存到 txt 文件
    save_to_txt(chapters)

四、运行爬虫并查看结果

1. 保存 novel_crawler.py 文件；
2. 打开命令行，切换到文件所在目录（如 cd Desktop）；
3. 运行命令：python novel_crawler.py；
4. 等待爬取完成，当前文件夹会生成 诡秘之主.txt 文件，打开即可查看完整小说。

五、常见问题与解决方案

1. 乱码问题

• 原因：编码识别错误；
• 解决：将 response.encoding = response.apparent_encoding 替换为指定编码（如 response.encoding = "gbk" 或 utf-8），可通过查看网站源码的 <meta charset> 标签确认编码。

2. 无法获取章节或正文

• 原因：网站结构变更，标签选择器失效；
• 解决：重新通过浏览器开发者工具（F12）查看最新的 HTML 结构，调整 find() 或 find_all() 中的参数（如标签名、id、class）。

3. 被网站封禁 IP

• 原因：请求速度过快，被反爬机制识别；
• 解决：
  • 增加 time.sleep() 的延迟时间（如 2-3 秒）；
  • 使用代理 IP（需额外配置 proxies 参数）；
  • 更换 User-Agent，模拟不同浏览器。

4. 爬取到的内容有广告

• 原因：正文区域包含广告标签；
• 解决：使用 decompose() 方法删除广告标签，例如：

# 假设广告标签是 div 的类为 ad
for ad in content_div.find_all("div", class_="ad"):
    ad.decompose()

六、注意事项

1. 本教程仅用于学习交流，请勿爬取付费小说、有版权保护的内容，否则可能违反法律法规；
2. 爬取前务必查看网站的 robots.txt 协议，遵守网站的爬取规则；
3. 控制爬取速度，避免给目标网站服务器造成压力；
4. 部分网站可能有更复杂的反爬机制（如登录验证、JS 加密），需额外处理（如使用 Selenium 模拟登录、解析 JS 数据）。