电影数据分析系统设计与实现
技术架构概述
本系统旨在解决海量电影数据的处理与价值挖掘问题。在技术选型上，我们融合了大数据生态（Hadoop、Spark、Hive）与虚拟机环境，以 Python 为核心开发语言，采用 Django 框架搭建 Web 后端，MySQL 负责结构化数据存储。为了提升分析效率与预测精度，系统集成协同过滤推荐算法与随机森林回归模型，结合猫眼电影公开数据，实现了从数据采集、清洗、分析到预测推荐的全流程闭环。
核心功能模块
1. 综合可视化大屏
系统通过 Echarts 构建了多维度的数据展示界面。首页大屏集成了饼图、柱状图、折线图等多种图表形式：
- 类型占比：直观呈现不同电影类型的分布情况。
- 票房趋势：利用折线图分析不同类型电影的票房走势。
- 评分关联：柱状图统计票房与评分的关联性数据。
- 地域分布：展示国家发行分布及票房占比，帮助用户快速掌握市场格局。
2. 深度数据分析
针对特定维度，系统提供了精细化的分析工具：
- 类型分析：左侧导航栏支持切换不同电影类型，主体区域展示该类型下票房 TOP10 影片，配合评分分布柱状图与平均时长饼图，实现分类型数据的精细化对比。
- 评分分析：按年度、地区、类型三个维度统计评分分布，折线图清晰反映各地区评分随时间的变化趋势。
- 时间分析：统计电影在年度与月度的产量分布，同时分析电影时长的分类占比，辅助判断市场产能周期。
- 票房分析：深入挖掘类型、年度、地区维度的票房数据，为投资决策提供量化依据。
3. 智能预测与推荐
这是系统的核心价值所在。
- 票房预测：用户可输入电影类型、发行地区、首周票房等条件，系统基于随机森林回归模型输出预测结果。实际运行中，该模型能有效捕捉非线性特征，提高预测准确度。
- 个性化推荐：采用协同过滤算法，根据用户历史行为或相似用户偏好，以卡片形式展示推荐电影的海报、简介及关键信息，并支持'收藏'操作。
4. 数据中心与管理
- 数据中心：提供电影名称、类型、时长、评分等详细信息的列表视图，支持关键词检索与勾选批量操作，便于数据查阅与管理。
- 后台管理：包含用户表、历史表等功能入口，管理员可在此查看最近操作记录，高效管理系统权限与数据状态。
数据处理与实现细节
在数据处理环节，我们充分利用了 Spark 的分布式计算能力。通过初始化 Spark Session，读取原始数据后进行字段拆分与分组统计。相比传统单机处理，这种方式能显著提升对海量日志与交易数据的吞吐效率。
