基于 Python 的淘宝商品数据爬取与可视化系统

安装和配置

1. 环境要求

• Python 3.7+
• MySQL 5.7+

2. 安装依赖

pip install -r requirements.txt

3. 数据库配置

在 config.py 文件中修改数据库配置：

DATABASE_CONFIG = {
    'host': 'localhost',      # MySQL 服务器地址
    'port': 3306,             # MySQL 端口
    'user': 'root',           # 用户名
    'password': 'your_password', # 密码
    'database': 'taobao_products', # 数据库名
    'charset': 'utf8mb4'
}

4. 启动系统

python main_gui.py

使用说明

1. 初始化数据库

• 首次使用时，在'系统设置'页面点击'初始化数据库'按钮
• 系统会自动创建数据库和必要的数据表

2. 配置 Cookie

• 在'数据爬取'页面输入有效的淘宝 Cookie 字符串
• 点击'测试 Cookie'验证 Cookie 是否有效
• 建议将 Cookie 保存到文件以便下次使用

3. 开始爬取

• 选择或输入搜索关键词（系统预置了多个品类的热门关键词）
• 设置爬取页数
• 点击'开始爬取'按钮
• 系统会实时显示爬取进度和日志信息

4. 数据查看

• 在'数据展示'页面可以查看已爬取的商品数据
• 支持按关键词筛选
• 可以导出数据为 CSV 格式

5. 可视化分析

• 选择相应的图表类型页面
• 选择数据源（全部数据或特定关键词）
• 点击'生成图表'按钮查看可视化结果
• 可以保存图表为图片文件
• 价格饼图中小比例区域会自动突出显示并标注
• 店铺销量饼图会展示销量前 8 的店铺，其他归为'其他店铺'

获取淘宝 Cookie

1. 打开浏览器，访问淘宝网站并登录
2. 按 F12 打开开发者工具
3. 切换到 Network（网络）标签
4. 在淘宝网站上搜索任意商品
5. 在 Network 面板中找到请求，点击查看请求头
6. 复制 Cookie 字段的完整内容

注意事项

• 请遵守淘宝网站的 robots.txt 和使用条款
• 适度使用，避免频繁请求造成 IP 被封
• Cookie 会定期失效，需要及时更新
• 建议在网络良好的环境下使用
• 数据仅用于学习和研究目的

技术特点

• 模块化设计: 各功能模块相互独立，便于维护和扩展
• 异步处理: 爬虫和 UI 分离，避免界面冻结
• 错误处理: 完善的异常处理和用户提示
• 数据持久化: 使用 MySQL 数据库存储数据
• 可视化友好: 支持多种图表类型，结果直观易懂
• 智能标注: 自动识别并突出显示关键数据点
• 响应式设计: 根据数据特性动态调整可视化效果