Python 电商数据可视化分析与销量预测系统

注册登录界面

该商品数据采集分析平台的登录页面，提供用户名和密码输入框，支持自动登录选项，设有登录按钮和注册账号入口，可进行账号登录与新账号注册操作。

后台管理页面

该商品数据采集分析平台后台的销量预测页面，支持选择商品类别并输入价格区间，点击预测销量按钮后，通过多元线性回归模型进行销量预测，展示预测结果并反馈预测成功的状态提示。

机器学习预测算法

该商品数据采集分析平台后台的销量预测页面，支持选择商品类别并输入价格区间，点击预测销量按钮后，通过多元线性回归模型进行销量预测，展示预测结果并反馈预测成功的状态提示。

功能模块划分

该电商数据分析可视化系统分为可视化分析平台和后台管理两大模块，可视化分析平台涵盖商品与店铺销量排行、商品数据统计分析等多类数据可视化功能，后台管理包含主页、用户管理、公告管理等多项系统管理与数据处理功能。

3. 项目说明

一、技术栈简要说明

本系统采用 Python 作为核心开发语言，后端基于轻量级 Web 框架 Flask 构建，实现业务逻辑处理与 API 接口服务。数据采集层使用 Selenium 自动化测试框架模拟浏览器操作，实现淘宝商品数据的定时抓取。数据处理环节应用 Pandas 工具库对原始数据进行清洗、转换与规范化操作，处理后的数据存储于 MySQL 关系型数据库。前端界面融合 LayUI 与 Bootstrap 前端框架，确保页面布局美观与交互体验流畅，数据可视化部分借助 Echarts 图表库生成各类统计图表。机器学习模块采用多元线性回归算法，基于历史销量数据训练预测模型，实现对商品未来销量的科学预估。

二、功能模块详细介绍

• 商品数据可视化大屏：系统首页以可视化大屏形式呈现全平台商品核心数据概览。界面顶部展示商品总数、店铺总数、总销量等关键指标，中部采用条形图呈现商品销量排行与店铺销量排行，柱状图用于统计不同商品类别的数据分布，折线图动态展示平台总销量的时间变化趋势。页面左侧配置饼图分别展示商品销量占比分布和商品价格区间分布，通过多图表联动让用户直观掌握平台商品的整体运营状况与销售格局。
• 商品数据后台管理：后台商品数据管理页面提供完整的商品信息维护功能。页面顶部设置商品标题、商品类别、店铺名称等多维度筛选条件，支持组合查询快速定位目标数据。下方以分页表格形式展示商品详细信息，包括商品标题、所属类别、销售价格、店铺名称、月销量、上架月份等字段。表格每行末尾配备编辑与删除操作按钮，管理员可对异常数据进行修改或移除，确保数据库中的商品信息始终保持准确与最新状态。
• 定时爬虫数据采集：爬虫调度模块支持用户自定义数据采集任务。用户在启动爬虫页面输入需要采集的关键词和页码数量，点击启动爬虫按钮后系统自动调用 Selenium 脚本模拟浏览器访问淘宝平台，抓取商品标题、价格、销量、店铺名称等原始信息。页面下方以分页表格形式展示爬虫执行日志，包含日志内容、记录时间及操作按钮，同时提供日志内容筛选搜索功能。爬虫任务执行过程中实时反馈运行状态，任务成功后弹出提示信息，方便用户监控采集进度与排查异常。
• 机器学习销量预测：销量预测模块基于多元线性回归模型构建智能预测功能。用户在预测页面选择目标商品类别，输入计划销售的价格区间，点击预测销量按钮后，系统调用已训练好的机器学习模型进行计算。模型综合考虑历史销量数据、商品类别特征、价格区间等因素，输出未来一段时间的销量预测值。页面清晰展示预测结果并反馈预测成功的状态提示，为电商企业的库存备货与营销策略制定提供数据支撑。
• 用户注册登录：系统提供完整的用户身份认证入口。登录页面包含用户名与密码输入框，支持自动登录选项，已注册用户可通过登录按钮进入系统。页面下方设有注册账号入口，新用户点击后可填写基本信息完成账号注册。该模块保障系统数据的安全访问，确保只有通过身份验证的用户才能查看平台数据与使用相关功能。
• 用户管理：管理员专属的用户管理页面提供系统用户的全生命周期维护功能。页面顶部支持按用户昵称、用户账号、用户电话、用户邮箱、用户单位等字段进行筛选搜索，并配备新增用户按钮。下方表格展示用户的昵称、账号、密码、所属单位、联系电话、电子邮箱、用户类型等详细信息。管理员可对每条用户记录执行编辑和删除操作，实现账号信息的动态管理与权限控制。
• 后台管理导航：系统后台设置清晰的功能导航入口，将数据管理、用户管理、爬虫调度、销量预测等核心模块集中展示。导航界面采用卡片式布局呈现各功能入口，方便管理员快速切换至目标页面，提升后台操作效率与用户体验。

三、项目总结

本系统构建了一套集数据采集、处理、分析与可视化于一体的电商数据分析平台。通过 Selenium 自动化爬虫解决了电商数据更新滞后的痛点，利用多元线性回归模型实现了销量预测的智能化，借助可视化大屏让数据洞察更加直观高效。系统融合前后端主流技术栈，涵盖数据管理、用户权限、爬虫调度等完整功能模块，为电商企业提供从数据获取到决策支持的全流程解决方案，助力企业及时掌握市场动态、优化运营策略、提升经营效益。

4. 核心代码

from flask import Flask, flash, request, session, render_template, jsonify
import decimal
import service.users_data as user_service
import service.notice_data as notice_data
import service.slog_data as slog_data
import service.goods_data as goods_data
import service.category_data as category_data
import service.view_data as view_data
import service.version_data as version_data
import machine_learning.goods_predict as gp
from spider import shopping_spider
from concurrent.futures import ThreadPoolExecutor
import os

class JSONEncoder(flask.json.JSONEncoder):
    def default(self, o):
        if isinstance(o, decimal.Decimal):
            return float(o)
        super(JSONEncoder, self).default(o)

class FlaskApp(Flask):
    json_encoder = JSONEncoder

app = Flask(__name__)
app.config['SESSION_TYPE'] = 'filesystem'
app.config['SECRET_KEY'] = os.urandom(24)

# -------------前台可视化大数据分析相关服务接口 start-----------------
# 系统默认路径前台跳转
@app.route('/')
def main_page():
    return render_template("main.html")
# -------------前台可视化大数据分析相关服务接口 end-----------------

# -------------后台管理模块相关服务接口 start-----------------
# 登录
@app.route('/login', methods=['POST'])
def login():
    if request.method == 'POST':
        account = request.form.get('account')
        password = request.form.get('password')
        if not all([account, password]):
            flash('参数不完整')
            return "300"
        res = user_service.get_user(account, password)
        if res and res[0][0] > 0:
            session['is_login'] = True
            session['role'] = res[0][1]
            return "200"
        else:
            return "300"

# 新增系统版本数据
@app.route('/version/add', methods=["POST"])
def sys_version_add():
    get_data = request.form.to_dict()
    name = get_data.get('name')
    version = get_data.get('version')
    return version_data.add_sys_version(name, version)

# 修改系统版本数据
@app.route('/version/edit', methods=["PUT"])
def version_edit():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    name = get_data.get('name')
    version = get_data.get('version')
    version_data.edit_sys_version(id_val, name, version)
    return '200'

# 删除系统版本数据
@app.route('/version/delete', methods=["DELETE"])
def version_delete():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    version_data.del_sys_version(id_val)
    return '200'
# -----------------系统版本管理模块 END-----------------

# -----------------类别管理模块 START-----------------
# 公告管理页面
@app.route('/html/category')
def category_manager():
    return render_template('html/category.html')

# 获取公告数据分页
@app.route('/category/list', methods=["POST"])
def category_list():
    get_data = request.form.to_dict()
    page_size = get_data.get('page_size')
    page_no = get_data.get('page_no')
    param = get_data.get('param')
    data, count, page_list, max_page = category_data.get_category_list(int(page_size), int(page_no), param)
    return jsonify({"data": data, "count": count, "page_no": page_no, "page_list": page_list, "max_page": max_page})

# 新增类别数据
@app.route('/category/add', methods=["POST"])
def category_add():
    get_data = request.form.to_dict()
    content = get_data.get('content')
    return category_data.add_category(content)

# 修改类别数据
@app.route('/category/edit', methods=["PUT"])
def category_edit():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    content = get_data.get('content')
    category_data.edit_category(id_val, content)
    return '200'

# 删除类别数据
@app.route('/category/delete', methods=["DELETE"])
def category_delete():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    category_data.del_category(id_val)
    return '200'
# -----------------类别管理模块 END-----------------

# -----------------爬虫管理模块 START-----------------
# 后台调用爬虫
@app.route('/spider/start', methods=["POST"])
def run_spider():
    get_data = request.form.to_dict()
    key = get_data.get('key')
    total_pages = get_data.get('num')
    executor = ThreadPoolExecutor(2)
    executor.submit(shopping_spider.spider(key, total_pages))
    return '200'

# 爬虫日志页面
@app.route('/html/slog')
def slog_manager():
    return render_template('html/slog.html')

# 获取爬虫日志数据分页
@app.route('/slog/list', methods=["POST"])
def slog_list():
    get_data = request.form.to_dict()
    page_size = get_data.get('page_size')
    page_no = get_data.get('page_no')
    param = get_data.get('param')
    data, count, page_list, max_page = slog_data.get_slog_list(int(page_size), int(page_no), param)
    return jsonify({"data": data, "count": count, "page_no": page_no, "page_list": page_list, "max_page": max_page})

# 修改爬虫日志数据
@app.route('/slog/edit', methods=["PUT"])
def slog_edit():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    log = get_data.get('log')
    slog_data.edit_slog(id_val, log)
    return '200'

# 删除爬虫日志数据
@app.route('/slog/delete', methods=["DELETE"])
def slog_delete():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    slog_data.del_slog(id_val)
    return '200'
# -----------------爬虫管理模块 END-----------------

# -----------------商品管理模块 START----------------
# 商品页面
@app.route('/html/goods')
def goods_manager():
    return render_template('html/goods.html')

# 获取商品数据分页
@app.route('/goods/list', methods=["POST"])
def goods_list():
    get_data = request.form.to_dict()
    page_size = get_data.get('page_size')
    page_no = get_data.get('page_no')
    param = get_data.get('param')
    data, count, page_list, max_page = goods_data.get_goods_list(int(page_size), int(page_no), param)
    return jsonify({"data": data, "count": count, "page_no": page_no, "page_list": page_list, "max_page": max_page})

# 修改商品数据
@app.route('/goods/edit', methods=["PUT"])
def goods_edit():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    title = get_data.get('title')
    category = get_data.get('category')
    discount = get_data.get('discount')
    original_price = get_data.get('original_price')
    shop = get_data.get('shop')
    monthly_sales = get_data.get('monthly_sales')
    goods_data.edit_goods(id_val, title, category, discount, original_price, shop, monthly_sales)
    return '200'

# 删除商品数据
@app.route('/goods/delete', methods=["DELETE"])
def goods_delete():
    get_data = request.form.to_dict()
    id_val = get_data.get('id')
    goods_data.del_goods(id_val)
    return '200'

# 预测页面
@app.route('/html/predict')
def html_predict():
    return render_template('html/predict.html')

# 预测商品数据
@app.route('/goods/predict', methods=["POST"])
def goods_predict():
    get_data = request.form.to_dict()
    t = get_data.get('t')
    p = get_data.get('p')
    op = get_data.get('op')
    return jsonify({"data": gp.predict(t, p, op)})
# -----------------可视化页面模块 END-----------------

if __name__ == '__main__':
    # 端口号设置
    app.run(host="127.0.0.1", port=5000)