一、爬取目标
本方案旨在实现批量下载公众号文章,并获取完整正文内容。目前提供源码形式,支持配置多个公众号进行批量爬取。
二、展示爬取结果
爬取结果包含以下字段:

- 文章标题
- 文章链接(永久链接)
- 发布时间
- 公众号名称
- 文章正文
所有数据自动保存为 Excel 文件,方便后续分析。
三、原理讲解
- 登录公众平台
- 在首页下新的创作选择文章,点进去之后在正文添加超链接,然后账号那一行选择要爬取的公众号,接着就会出现公众号发布过的文章。
- 按 F12 查看数据来源,点击网络,刷新之后可以看到文章数据来源的数据包,接下来对 url 发送请求,取我们想要的值即可。token 和 cookie 也从这里边找。

四、爬虫代码讲解
导入库:
import requests
import pandas as pd
import json
import time
import random
from lxml import etree
4.1 核心思路与配置
运行需要两个关键参数:token 和 cookie。这需要你登录公众平台后台,在开发者工具里抓取。
为了方便使用,把这些配置都写进了 wechat_config_new.json 文件里:
{
"token": "你的 token",
"cookie": "你的 cookie",


