Python 爬虫实战：抓取小说并保存为本地 TXT 文件

爬取单个章节内容

有了链接后，我们需要把每一章的具体文字抓下来。这里同样要处理编码问题，并且清理掉多余的空白字符。

def get_chapter_content(chapter_url):
    """根据章节链接，提取正文内容"""
    try:
        response = requests.get(chapter_url, headers=headers, timeout=10)
        response.encoding = response.apparent_encoding
        soup = BeautifulSoup(response.text, "html.parser")
        
        # 定位正文内容（示例网站正文在 id="content" 的 div 中，需根据实际情况调整）
        content_div = soup.find("div", id="content")
        if not content_div:
            return "正文获取失败"
        
        # 提取正文文本，去除多余空格和换行
        content = content_div.text.strip()
        # 替换网站自带的换行符（根据实际情况调整）
        content = content.replace("\n\n", "\n").replace(" ", " ")
        return content
    except Exception as e:
        print(f"获取章节内容失败：{e}")
        return "正文获取失败"

保存内容到 txt 文件

最后一步是把所有章节拼起来存成本地文件。这里加了 time.sleep 控制频率，这是为了防止请求过快触发反爬，也是基本的礼貌原则。

def save_to_txt(chapters, novel_name="诡秘之主"):
    """将所有章节内容保存为 txt 文件"""
    # 拼接保存路径（默认保存在当前文件夹，文件名为小说名）
    file_path = f"{novel_name}.txt"
    with open(file_path, "w", encoding="utf-8") as f:
        for i, chapter in enumerate(chapters, 1):
            title = chapter["title"]
            url = chapter["url"]
            print(f"正在爬取第 {i}/{len(chapters)} 章：{title}")
            
            # 获取正文
            content = get_chapter_content(url)
            
            # 写入文件（标题 + 正文，换行分隔）
            f.write(f"【{title}】\n\n{content}\n\n")
            
            # 延迟 1-2 秒，避免请求过快被反爬
            time.sleep(1.5)
    
    print(f"\n小说已成功保存到：{file_path}")

主函数整合

把所有功能串起来，跑一次试试。

if __name__ == "__main__":
    # 1. 获取章节列表
    chapters = get_chapter_list()
    if not chapters:
        print("爬取失败，退出程序")
        exit()
    
    # 2. 保存到 txt 文件
    save_to_txt(chapters)

四、运行爬虫并查看结果

1. 保存 novel_crawler.py 文件；
2. 打开命令行，切换到文件所在目录（如 cd Desktop）；
3. 运行命令：python novel_crawler.py；
4. 等待爬取完成，当前文件夹会生成 诡秘之主.txt 文件，打开即可查看完整小说。

五、常见问题与解决方案

1. 乱码问题

• 原因：编码识别错误；
• 解决：将 response.encoding = response.apparent_encoding 替换为指定编码（如 response.encoding = "gbk" 或 utf-8），可通过查看网站源码的 <meta charset> 标签确认。

2. 无法获取章节或正文

• 原因：网站结构变更，标签选择器失效；
• 解决：重新通过浏览器开发者工具（F12）查看最新的 HTML 结构，调整 find() 或 find_all() 中的参数（如标签名、id、class）。

3. 被网站封禁 IP

• 原因：请求速度过快，被反爬机制识别；
• 解决：
  • 增加 time.sleep() 的延迟时间（如 2-3 秒）；
  • 使用代理 IP（需额外配置 proxies 参数）；
  • 更换 User-Agent，模拟不同浏览器。

4. 爬取到的内容有广告

• 原因：正文区域包含广告标签；
• 解决：使用 decompose() 方法删除广告标签。

# 假设广告标签是 class="ad" 的 div
for ad in content_div.find_all("div", class_="ad"):
    ad.decompose()  # 删除广告标签

六、注意事项

1. 本教程仅用于学习交流，请勿爬取付费小说、有版权保护的内容，否则可能违反法律法规；
2. 爬取前务必查看网站的 robots.txt 协议，遵守网站的爬取规则；
3. 控制爬取速度，避免给目标网站服务器造成压力；
4. 部分网站可能有更复杂的反爬机制（如登录验证、JS 加密），需额外处理（如使用 Selenium 模拟登录、解析 JS 数据）。