Python 爬虫实战：爬取今日头条图文标题

2.2 构建爬虫代码（含反爬策略）

今日头条对请求频率和请求头有严格校验，核心代码如下：

import requests
import json
import time
import random

def get_toutiao_titles():
    # 1. 目标 API 接口（经分析提取的核心接口）
    url = "https://www.toutiao.com/api/pc/feed/"
    
    # 2. 请求参数（模拟浏览器请求的核心参数）
    params = {
        "category": "news_hot",
        "utm_source": "toutiao",
        "widen": "1",
        "max_behot_time": "0",
        "max_behot_time_tmp": "0",
        "tadrequire": "true",
        "as": "A195C8541985A86",
        "cp": "C895A9148568E81",
        "_signature": "_02B4Z6wo00f0NMHkU1gAAIDDJa5D7f17669661AAAbf79" # 注：signature 会过期，需重新抓包获取
    }
    
    # 3. 请求头设置（关键反爬步骤）
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
        "Accept": "application/json, text/plain, */*",
        "Accept-Language": "zh-CN,zh;q=0.9",
        "Referer": "https://www.toutiao.com/",
        "Cookie": "tt_webid=7324567890123456789; ttcid=1234567890abcdef1234567890abcdef123;", # 需替换为自己的 Cookie
        "X-Requested-With": "XMLHttpRequest"
    }
    
    try:
        # 4. 发送 GET 请求，获取 JSON 数据
        response = requests.get(
            url=url,
            params=params,
            headers=headers,
            timeout=15
        )
        response.raise_for_status() # 捕获 HTTP 请求异常
        data = response.json() # 将响应转为 JSON 对象
        
        # 5. 解析 JSON 数据，提取图文标题
        title_list = []
        if "data" in data and len(data["data"]) > 0:
            for item in data["data"]:
                # 过滤广告内容，仅提取正常图文标题
                if "title" in item and item["title"] and "abstract" in item:
                    title = item["title"].strip()
                    title_list.append(title)
        return title_list
    except requests.exceptions.RequestException as e:
        print(f"请求失败：{e}")
        return []
    except json.JSONDecodeError as e:
        print(f"JSON 解析失败：{e}")
        return []
    except Exception as e:
        print(f"解析异常：{e}")
        return []

if __name__ == "__main__":
    # 随机延迟，规避反爬
    time.sleep(random.uniform(1, 2))
    
    # 爬取图文标题
    titles = get_toutiao_titles()
    
    # 6. 输出结果
    print("=== 今日头条热点图文标题列表 ===")
    if titles:
        for index, title in enumerate(titles, 1):
            print(f"{index}. {title}")
    else:
        print("未爬取到标题，请检查参数/Cookie 或反爬策略！")

2.3 代码核心原理拆解

2.4 代码运行结果示例

运行上述代码后，控制台输出结果如下（标题随热点实时更新）：

=== 今日头条热点图文标题列表 ===
1. 2026 年春运首日火车票开售，这些新变化要注意
2. 央行发布最新货币政策报告，释放三大信号
3. 多地出台新政支持新能源汽车消费，购车补贴最高达 1 万元
4. 专家解读：2026 年楼市调控方向，刚需购房迎利好
5. 国产大飞机 C919 新增多条国际航线，市场布局进一步扩大
6. 冬季养生：这 5 种食物少吃，3 种食物多吃，增强免疫力
7. 2026 年考研初试结束，这些复试注意事项提前了解
8. 多地气温创今冬新低，寒潮预警持续，出行注意保暖
9. 世界杯预选赛：国足客场战平对手，出线形势分析
10. 新版医保目录落地，新增 121 种药品，覆盖这些疾病

三、进阶优化与注意事项

3.1 动态参数处理（解决 signature 过期问题）

_signature 参数会实时过期，新手可通过以下方式临时解决：

1. 每次运行前，打开浏览器抓包获取最新的_signature；

进阶方案：使用 execjs 库执行今日头条的 JS 代码生成签名（需具备基础 JS 知识），示例代码片段：

import execjs
# 读取生成 signature 的 JS 文件（需自行抓包提取）
with open("get_signature.js", "r", encoding="utf-8") as f:
    js_code = f.read()
ctx = execjs.compile(js_code)
signature = ctx.call("get_signature", params) # 调用 JS 函数生成签名
params["_signature"] = signature

3.2 多页数据爬取

通过修改 max_behot_time 参数实现翻页，示例代码：

def get_multi_page_titles(page_num=3):
    all_titles = []
    max_behot_time = 0
    for page in range(page_num):
        params["max_behot_time"] = str(max_behot_time)
        params["max_behot_time_tmp"] = str(max_behot_time)
        # 重新生成 signature（关键）
        titles = get_toutiao_titles()
        all_titles.extend(titles)
        
        # 更新 max_behot_time（从返回数据中提取）
        response = requests.get(url, params=params, headers=headers)
        data = response.json()
        if "next" in data and "max_behot_time" in data["next"]:
            max_behot_time = data["next"]["max_behot_time"]
        
        time.sleep(random.uniform(2, 3)) # 翻页延迟
    return all_titles

3.3 数据保存优化

将标题保存到 TXT 文件（便于查看）和 Excel 文件（便于分析）：

# 保存到 TXT 文件
with open("今日头条标题.txt", "w", encoding="utf-8") as f:
    for title in titles:
        f.write(title + "\n")

# 保存到 Excel 文件（需安装 openpyxl）
# pip install openpyxl
from openpyxl import Workbook
wb = Workbook()
ws = wb.active
ws.title = "热点标题"
ws.append(["序号", "图文标题"])
for index, title in enumerate(titles, 1):
    ws.append([index, title])
wb.save("今日头条标题.xlsx")
print("数据已保存到 TXT 和 Excel 文件！")

3.4 合规性与反爬注意事项

1. 本次爬取仅用于学习交流，禁止商用或批量爬取；
2. 今日头条的 API 接口会频繁更新，代码需根据接口变化及时调整；
3. 爬取频率控制在每 3-5 秒 1 次，避免 IP 被封禁；
4. 切勿爬取敏感内容，遵守《网络安全法》及今日头条用户协议。

四、常见问题排查

总结

1. 爬取今日头条图文标题的核心是找到真实的 API 接口，而非解析前端渲染的 HTML，这是动态网页爬虫的典型特征；
2. 请求头（Cookie）和动态参数（signature）是突破今日头条反爬的关键，新手需掌握抓包工具的基本使用；
3. 数据解析阶段需过滤广告内容，保证标题的有效性，同时通过随机延迟、翻页控制等方式降低被封风险。

通过本文的实战教程，新手可掌握动态网页爬虫的核心思路，后续可将此方法迁移到抖音、快手等短视频平台的标题 / 评论爬取中，进一步提升爬虫开发能力。