Python 小红书数据采集工具实现指南

2. 认证机制实现

支持二维码与手机验证码两种登录方式：

# 二维码登录
qr_code = xhs.get_qrcode()
qr_code.save("qrcode.png")  # 保存二维码图片
print("请扫描二维码登录")
login_status = xhs.check_qrcode(qr_code['qr_id'], qr_code['code'])

# 手机验证码登录
xhs.send_code(phone="13800138000")
code = input("请输入验证码:")
xhs.login_code(phone="13800138000", mobile_token=code)

3. 核心数据采集接口

关键词搜索采集

notes = xhs.get_note_by_keyword(
    keyword="美食推荐",
    page=1,
    page_size=20,
    sort=SearchSortType.HOT  # 按热度排序
)

用户内容批量获取

user_notes = xhs.get_user_all_notes(
    user_id="user123456",
    crawl_interval=1  # 控制请求间隔
)

评论数据深度采集

comments = xhs.get_note_all_comments(
    note_id="note67890",
    crawl_interval=0.5
)

4. 数据存储与解析

将采集结果转换为结构化数据：

# 解析笔记数据
for note in notes:
    structured_data = {
        "note_id": note["id"],
        "title": note["title"],
        "content": note["desc"],
        "author_id": note["user"]["id"],
        "stats": {
            "likes": note["stats"]["like_count"],
            "comments": note["stats"]["comment_count"],
            "shares": note["stats"]["share_count"]
        },
        "images": xhs.get_imgs_url_from_note(note)
    }
    # 存储到数据库或 JSON 文件

场景应用：三大业务价值落地

竞品内容策略分析

通过采集竞品账号的全部笔记数据，构建内容特征模型：

# 获取竞品所有笔记
competitor_notes = xhs.get_user_all_notes(user_id="competitor_id")

# 内容主题分析
from collections import Counter
topics = [note["topics"][0]["name"] for note in competitor_notes if note["topics"]]
topic_counts = Counter(topics)
print("热门主题分布:", topic_counts.most_common(10))

消费趋势预测系统

基于关键词搜索数据构建时间序列模型：

import pandas as pd

# 按时间维度采集数据
trend_data = []
for date in date_range(start_date, end_date):
    notes = xhs.get_note_by_keyword(
        keyword="夏季穿搭",
        sort=SearchSortType.NEWEST
    )
    trend_data.append({
        "date": date,
        "count": len(notes),
        "avg_likes": sum(n["stats"]["like_count"] for n in notes)/len(notes)
    })

# 生成趋势图表
pd.DataFrame(trend_data).plot(x="date", y="count")

舆情监控与风险预警

实时追踪品牌相关内容的评论情绪：

# 监听特定关键词
while True:
    latest_notes = xhs.get_note_by_keyword(
        keyword="品牌名称",
        sort=SearchSortType.NEWEST,
        page_size=10
    )
    for note in latest_notes:
        comments = xhs.get_note_comments(note_id=note["id"])
        for comment in comments:
            if "负面" in comment["content"]:
                send_alert(comment)  # 触发预警机制
    time.sleep(300)  # 每 5 分钟检查一次

进阶优化：提升采集效率与稳定性

请求签名机制深度解析

工具的核心竞争力在于动态签名生成算法，其实现逻辑如下：

1. 时间戳生成：采用精确到毫秒的时间戳
2. 数据排序：对请求参数按 ASCII 码排序
3. 密钥混合：结合固定密钥与动态设备信息
4. 哈希计算：使用自定义哈希函数生成签名

自定义签名函数示例：

def custom_sign(uri, data):
    ctime = int(time.time() * 1000)  # 实现自定义签名逻辑
    return generate_signature(uri, data, ctime, a1, b1)

反爬策略优化

代理池动态切换

from itertools import cycle
proxy_list = ["http://proxy1:port", "http://proxy2:port"]
proxy_cycle = cycle(proxy_list)

# 每次请求更换代理
def rotate_proxy():
    return {"http": next(proxy_cycle)}

xhs = XHS(proxies=rotate_proxy())

用户行为模拟

# 随机 UA 生成
from fake_useragent import UserAgent
ua = UserAgent()
xhs = XHS(user_agent=ua.random)

# 随机请求间隔
import random
def random_interval():
    return random.uniform(0.8, 2.0)

故障排查手册

常见错误及解决方案

错误 1：签名验证失败

• 检查系统时间是否同步
• 升级工具至最新版本：pip install -U xhs
• 验证 a1 和 b1 参数是否有效

错误 2：请求频率限制

• 增加请求间隔：crawl_interval=2
• 启用代理池分散请求
• 实现请求重试机制：

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=2, max=10))
def safe_request(note_id):
    return xhs.get_note_by_id(note_id)

错误 3：登录状态失效

• 实现 Cookie 持久化存储
• 配置自动重新登录机制
• 检查账号是否被限制

数据伦理规范与合规采集原则

在进行数据采集时，需严格遵守以下规范：

1. 数据范围限制：仅采集公开可访问的内容，不得突破隐私设置获取数据
2. 请求频率控制：单 IP 请求频率不超过平台正常用户行为范围（建议每秒不超过 2 次）
3. 数据用途声明：采集数据仅用于合法研究目的，不得用于商业竞争或恶意攻击
4. 版权保护意识：尊重原创内容，转载或引用需注明来源
5. robots 协议遵守：检查并遵守平台 robots.txt 的限制规则

建议在项目中添加合规检查模块：

def compliance_check(url):
    # 检查是否为允许采集的 URL
    allowed_domains = ["xiaohongshu.com/api", "xiaohongshu.com/notes"]
    return any(domain in url for domain in allowed_domains)

通过本文介绍的 Python 数据采集工具，开发者可以构建高效、稳定的小红书数据采集系统。无论是市场分析、竞品研究还是学术调查，合理运用这些技术将为决策提供有力的数据支持。记住，技术的价值在于负责任的应用，始终将合规与伦理放在首位，才能实现可持续的数据采集与应用。