携程景区评论数据爬取：Python 实战解析

2. 数据解析与存储

获取到 JSON 响应后，需要提取关键字段并保存。这里使用 pandas 进行结构化处理，并导出为 CSV 和 TXT 报告。

import json
import pandas as pd
from datetime import datetime

def format_timestamp(timestamp_str):
    """格式化时间戳 /Date(1742347091000+0800)/ -> YYYY-MM-DD HH:MM:SS"""
    if not timestamp_str:
        return ''
    try:
        if timestamp_str.startswith('/Date('):
            millis = int(timestamp_str.replace('/Date(', '').replace(')/', '').split('+')[0])
            dt = datetime.fromtimestamp(millis / 1000)
            return dt.strftime('%Y-%m-%d %H:%M:%S')
    except:
        pass
    return timestamp_str

def extract_comments(json_data):
    """从 API 返回中提取评论列表"""
    comments = []
    if 'result' in json_data and 'items' in json_data['result']:
        for item in json_data['result']['items']:
            comment_info = {
                'comment_id': item.get('commentId'),
                'user_nick': item.get('userInfo', {}).get('userNick', ''),
                'score': item.get('score', 0),
                'content': item.get('content', ''),
                'publish_time': format_timestamp(item.get('publishTime', '')),
                'tourist_type': {0: '个人游', 1: '情侣夫妻', 2: '家庭亲子', 3: '朋友出游', 4: '商务出差', 5: '独自旅行'}.get(item.get('touristType', 0), '其他'),
                'ip_location': item.get('ipLocatedName', ''),
                'useful_count': item.get('usefulCount', 0),
                'reply_count': item.get('replyCount', 0),
                'image_count': len(item.get('images', []))
            }
            comments.append(comment_info)
    return comments

def save_data(comments, filename='comments'):
    """保存数据到 CSV 和 TXT"""
    df = pd.DataFrame(comments)
    df.to_csv(f'{filename}.csv', index=False, encoding='utf-8-sig')
    
    with open(f'{filename}.txt', 'w', encoding='utf-8') as f:
        f.write(f"共抓取 {len(comments)} 条评论\n")
        for i, c in enumerate(comments[:5], 1): # 仅预览前 5 条
            f.write(f"[{i}] {c['user_nick']} ({c['score']}分): {c['content'][:50]}...\n")
    print(f"数据已保存至 {filename}.csv")

# 主流程示例
if __name__ == '__main__':
    all_comments = []
    # 循环抓取多页，例如抓取前 3 页
    for page in range(1, 4):
        data = crawl_comment(page_index=page)
        comments = extract_comments(data)
        all_comments.extend(comments)
        print(f"第{page}页完成，获取 {len(comments)} 条")
    
    save_data(all_comments, 'harbin_reviews')

四、注意事项

1. Cookie 有效性：示例中的 Cookie 和 Token 是临时的，运行失败时请重新从浏览器获取。
2. 频率限制：建议增加随机延时，避免请求过快触发反爬机制。
3. 分页逻辑：pageSize 参数可调整，但需注意单次请求量不宜过大，通常 10-30 条较为稳妥。

通过上述步骤，你可以快速搭建一个针对携程景区评论的爬虫脚本，并根据需求扩展更多分析维度。