Python 分析去哪儿旅游攻略数据并制作可视化图表

数据解析与字段提取

使用 parsel 库对返回的 HTML 文本进行解析。通过 CSS 选择器定位到每一篇攻略的容器元素，并提取标题、作者、日期、费用、行程等关键字段。

解析逻辑

1. 定位列表项 .list_item。
2. 遍历每个列表项，提取子元素文本。
3. 处理特殊字符，如去除空格、换行符。
4. 拼接详情页链接。

代码实现：

from parsel import Selector
import csv

def parse_data(html_content):
    selector = Selector(text=html_content)
    items = selector.css('.list_item')
    data_list = []
    
    for item in items:
        try:
            title = item.css('.tit a::text').get().strip()
            user_name = item.css('.user_name a::text').get().strip()
            date_raw = item.css('.date::text').get().strip()
            days = item.css('.days::text').get().strip()
            photo_nums = item.css('.photo_nums::text').get().strip()
            fee = item.css('.fee::text').get().strip()
            people = item.css('.people::text').get().strip()
            trip_tag = item.css('.trip::text').get().strip()
            places_raw = ''.join(item.css('.places ::text').getall()).split('行程')
            place_start = places_raw[0].replace('途经：', '').strip() if len(places_raw) > 0 else ''
            place_end = places_raw[-1].replace('：', '').strip() if len(places_raw) > 1 else ''
            href = item.css('.tit a::attr(href)').get().split('/')[-1]
            detail_link = f'https://travel.qunar.com/travelbook/note/{href}'
            
            # 尝试从日期字符串中提取年份和月份
            year = month = ''
            if date_raw:
                parts = date_raw.split('-')
                if len(parts) >= 3:
                    year = parts[0]
                    month = parts[1]
                elif len(parts) >= 2:
                    year = parts[0]
                    month = parts[1]
            
            record = {
                '标题': title,
                '昵称': user_name,
                '日期': date_raw,
                '年份': year,
                '月份': month,
                '耗时': days,
                '照片数': photo_nums,
                '费用': fee,
                '人员': people,
                '标签': trip_tag,
                '途径': place_start,
                '行程终点': place_end,
                '详情页': detail_link
            }
            data_list.append(record)
        except Exception as e:
            continue
    return data_list

数据存储与预处理

将解析后的数据保存为 CSV 文件，便于后续使用 Pandas 进行分析。注意指定编码格式为 UTF-8，防止中文乱码。

def save_to_csv(data, filename='data.csv'):
    if not data:
        return
    fieldnames = list(data[0].keys())
    with open(filename, mode='w', encoding='utf-8-sig', newline='') as f:
        writer = csv.DictWriter(f, fieldnames=fieldnames)
        writer.writeheader()
        writer.writerows(data)
    print(f'数据已保存至 {filename}')

数据分析与可视化实现

数据加载

使用 Pandas 读取 CSV 文件，并进行初步的数据概览。

import pandas as pd

df = pd.read_csv('data.csv')
print(df.head())
print(df.info())

费用分布分析

统计不同费用区间的攻略数量，使用柱状图展示，比饼图更适合比较类别差异。

from pyecharts.charts import Bar
from pyecharts import options as opts

# 清理费用列中的非数字字符以便排序
fee_cleaned = df['费用'].str.replace('元', '').astype(float)
df['费用数值'] = fee_cleaned

# 分组统计
fee_dist = df['费用数值'].value_counts().sort_index()

bar = (
    Bar(init_opts=opts.InitOpts(width="800px", height="400px"))
    .add_xaxis([str(x) for x in fee_dist.index])
    .add_yaxis("攻略数量", [int(y) for y in fee_dist.values])
    .set_global_opts(
        title_opts=opts.TitleOpts(title="费用分布情况"),
        xaxis_opts=opts.AxisOpts(name_rotate=60),
        tooltip_opts=opts.TooltipOpts(trigger="axis")
    )
)
# bar.render_notebook() # 实际使用时取消注释

出行时间与人员构成

分析用户的平均出行天数以及同行人数分布，了解主流旅行模式。

from pyecharts.charts import Pie

# 出行时间
time_dist = df['耗时'].value_counts()
c_time = (
    Pie()
    .add("", [list(z) for z in zip(time_dist.index, time_dist.values)])
    .set_global_opts(title_opts=opts.TitleOpts(title="出行时间分布"))
    .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
)

# 人员构成
people_dist = df['人员'].value_counts()
c_people = (
    Pie()
    .add("", [list(z) for z in zip(people_dist.index, people_dist.values)])
    .set_global_opts(title_opts=opts.TitleOpts(title="同行人员分布"))
    .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
)

月份趋势分析

观察不同月份的攻略发布热度，辅助判断旅游旺季。

month_dist = df['月份'].value_counts().sort_index()
c_month = (
    Bar()
    .add_xaxis([str(x) for x in month_dist.index])
    .add_yaxis("发布数量", [int(y) for y in month_dist.values])
    .set_global_opts(title_opts=opts.TitleOpts(title="月份发布趋势"))
)

总结与展望

本文完整演示了从数据采集、解析、存储到分析可视化的全流程。通过 Python 爬虫技术，我们能够低成本地获取大量公开的旅游数据，并利用可视化手段直观呈现数据背后的规律。这对于个人旅行规划、旅游行业市场分析均具有参考价值。

在实际应用中，还可以进一步优化爬虫的反爬能力（如使用代理 IP、动态 JS 渲染处理），增加更多维度的分析指标（如目的地热度词云、用户情感分析等）。希望本文能为初学者提供清晰的入门指引。

注：本文代码仅供学习参考，请遵守相关法律法规及目标网站的 robots.txt 协议，合理使用网络资源。