1、项目介绍
技术栈
以 Python 为开发语言，整合 Flask 框架、MySQL 数据库、requests 爬虫库、Echarts 可视化工具，引入 Surprise 库 KNNWithZScore 算法、Stacking 集成学习（决策树/Lasso/随机森林/GDBT），搭配 HTML 实现前端呈现。
功能模块名称
- 数据采集与存储模块
- 电影票房预测模块
- 电影推荐模块
- 数据可视化展示模块
- 用户角色与功能分配模块
- 电影信息管理模块
- 用户信息管理模块
- 后台数据管理模块
项目介绍
本项目是基于多技术整合的电影推荐与票房预测系统，聚焦解决用户选片难、行业票房预测盲目等痛点。系统通过 requests 爬虫采集并清洗电影数据，存储于 MySQL 数据库；借助 Stacking 集成学习提升票房预测精度，以 KNNWithZScore 算法实现个性化推荐；通过 Echarts 大屏呈现多维度数据；支持三级角色登录，普通用户可获取推荐、浏览电影，管理员负责信息管理，后台管理员维护系统运行，实现'数据 - 算法 - 功能'的全流程闭环，兼顾用户体验与行业决策需求。
2、项目界面
（1）电影数据可视化大屏
以多板块布局呈现各类数据：涵盖电影类型数量统计、上映国家分布、年度数量与评分趋势，同时展示参演演员排名、随机电影信息及票房 Top 榜单，通过图表与列表结合的形式直观呈现多维度电影数据，帮助用户快速把握电影行业各维度特征。
（2）电影评论数据可视化分析大屏
以多板块呈现评论相关数据：包含年度评论用户数量统计、评论内容的词云分析，以及最受欢迎电影的分布情况，同时下方展示不同主题的评论关键词词云。通过图表与词云结合的形式，直观呈现评论数据的时间趋势、内容特征及关联电影热度，帮助用户快速把握评论数据的核心特征。
（3）电影数据
以表格形式集中展示电影的多类信息，涵盖编号、名称、评分、上映时间等字段。左侧导航栏支持跳转至分析大屏、预测、推荐等功能模块，既实现了电影信息的统一呈现，也为管理员提供了便捷的信息查阅入口，帮助快速获取结构化的电影数据。
（4）电影票房预测
提供电影选择的下拉交互入口，用户选定目标电影后，系统通过集成学习算法计算并展示对应的票房预测结果。左侧导航栏可跳转至其他功能模块，整体实现了'选择电影 - 触发预测 - 获取结果'的简洁流程，为用户提供直观的票房参考。
（5）电影推荐
提供电影选择的下拉入口，用户选定目标电影后，系统通过推荐算法生成对应的 Top10 推荐列表，以表格形式展示推荐电影的多类信息。左侧导航栏可跳转至其他功能模块，整体实现'选电影 - 获推荐'的流程，帮助用户快速获取匹配偏好的电影内容。
（6）电影信息管理
提供电影信息的查询（支持下拉筛选）与展示功能，以表格呈现电影多类信息，同时为每条数据配备操作按钮。左侧导航栏可跳转至其他功能模块，管理员通过该模块实现电影信息的增删管理，保障系统内电影数据的及时更新与有序维护。
（7）用户信息管理
支持通过下拉筛选查询用户信息，以表格展示用户名、类型等内容，同时为每条数据配备操作按钮。左侧导航栏可跳转至其他功能模块，管理员通过该模块实现用户信息的查询与维护，保障系统内用户账号的有序管理。
（8）后台数据管理
提供多标签页切换（涵盖电影、票房等数据分类），支持搜索、批量操作及分页浏览，以表格展示数据详情并配备编辑类操作按钮。后台管理员通过该模块实现系统核心数据的集中管理，保障数据的完整与更新，支撑前端功能的稳定运行。
（9）注册登录
提供账号、密码的输入框及登录按钮，同时配备注册账号入口，作为系统的访问入口。用户通过该模块完成身份验证后，可进入对应角色的功能界面，实现系统的权限区分与安全访问，是使用后续功能的前置环节。
3、项目说明
一、技术栈
本项目以 Python 为核心开发语言，整合 Flask 框架搭建后端服务，采用 MySQL 数据库完成数据存储，借助 requests 爬虫库采集电影相关数据，通过 Echarts 可视化工具实现数据大屏展示；引入 Surprise 库 KNNWithZScore 算法实现电影推荐、Stacking 集成学习（决策树/Lasso/随机森林/GDBT）提升票房预测精度，搭配 HTML 完成前端页面呈现，形成完整的技术体系。
二、功能模块详细介绍
- 数据采集与存储模块：通过 requests 爬虫采集电影基础信息、票房、评论等原始数据，经清洗规整后存入 MySQL 数据库，保障数据的完整性与结构化，为后续算法应用和可视化展示提供数据支撑。
- 电影票房预测模块：提供电影选择下拉入口，用户选定影片后，系统调用 Stacking 集成学习算法计算并展示票房预测结果，实现'选片 - 预测 - 出结果'的简洁流程，输出直观的票房参考数据。
- 电影推荐模块：支持用户通过下拉框选定电影，依托 KNNWithZScore 算法生成 Top10 推荐列表，以表格形式展示推荐影片的多类信息，帮助用户快速获取匹配偏好的电影内容。
- 数据可视化展示模块：包含电影数据可视化大屏和评论数据可视化大屏，前者呈现电影类型、上映国家、年度趋势等多维度数据，后者展示评论用户数、词云分析、热门电影分布等内容，通过图表与词云结合的形式直观呈现数据特征。
- 用户角色与功能分配模块：通过注册登录环节实现身份验证，划分普通用户、管理员、后台管理员三级角色，不同角色对应不同操作权限，保障系统访问安全与功能有序分配。
- 电影信息管理模块：支持管理员通过下拉筛选查询电影信息，以表格展示数据并配备操作按钮，可完成电影信息的增删管理，确保系统内电影数据及时更新。
- 用户信息管理模块：管理员可下拉筛选查询用户信息，通过表格呈现账号信息并进行维护操作，实现用户账号的有序管理。
- 后台数据管理模块：后台管理员可通过多标签页切换管理电影、票房等核心数据，支持搜索、批量操作及分页浏览，保障数据完整与更新，支撑前端功能稳定运行。
三、项目总结
本电影推荐与票房预测系统聚焦解决用户选片难、行业票房预测盲目等核心痛点，构建了'数据采集 - 算法应用 - 功能落地'的全流程闭环。系统依托爬虫与数据库实现数据管理，借助机器学习算法提升推荐与预测的精准度，通过可视化大屏直观呈现多维度数据，同时基于角色分配实现精细化的信息管理。从用户端来看，普通用户可便捷获取个性化推荐、查看票房预测；从管理端来看，管理员可维护电影与用户信息，后台管理员保障数据安全，兼顾了用户体验与行业决策需求，实现了技术与业务场景的有效结合。
4、核心代码
import re
import os
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestRegressor, GradientBoostingRegressor
from sklearn.metrics import make_scorer, mean_squared_error
from sklearn.metrics import r2_score
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.model_selection import KFold
from sklearn.tree import DecisionTreeRegressor
from sklearn.linear_model import LinearRegression as LR, Lasso
import joblib
import seaborn as sns
model_save_path = r'./app/dataset/testModel/'
if not os.path.exists(model_save_path):
os.makedirs(model_save_path)
data = pd.read_csv(r"./app/dataset/ana_result/piaofang_info.csv")
data = data.iloc[:,[2,3,4,5,7,9,10,11]]
X = data.iloc[:,0:7]
y = data.iloc[:,7].apply(lambda x: x / 10000) # 标签经过 log1p 转换，使其更偏向于正态分布
y = np.log1p(y)
# 数据集划分
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=0.2, random_state=1)
oof_df = pd.DataFrame()
test_oof_df = pd.DataFrame()
():
score = r2_score(y_true, y_predict)
score
():
cross_validator = KFold(n_splits=)
regressor = DecisionTreeRegressor(random_state=)
params = {: [i i (, )]}
scoring_fnc = make_scorer(performance_metric)
grid = GridSearchCV(regressor, params, scoring=scoring_fnc, cv=cross_validator)
grid = grid.fit(X, y)
dtr_max_depth = grid.best_estimator_.get_params()[]
dtr_max_depth
():
dtr_max_depth = fit_dtr_model(X, y)
dtr_regressor = DecisionTreeRegressor(max_depth=dtr_max_depth)
dtr_regressor.fit(X, y)
pred_y = dtr_regressor.predict(test_X)
test_oof_df[] = pred_y
r2_score_val = performance_metric(test_y, pred_y)
rmse_score = np.sqrt(mean_squared_error(pred_y, test_y))
()
(, r2_score_val)
(, rmse_score)
joblib.dump(dtr_regressor, model_save_path + )
rmse_score
():
lasso_regressor = Lasso()
lasso_regressor.fit(X, y)
pred_y = lasso_regressor.predict(test_X)
test_oof_df[] = pred_y
r2_score_val = performance_metric(test_y, pred_y)
rmse_score = np.sqrt(mean_squared_error(pred_y, test_y))
()
(, r2_score_val)
(, rmse_score)
joblib.dump(lasso_regressor, model_save_path + )
rmse_score
():
rf_model = RandomForestRegressor()
rf_model.fit(X, y)
pred_y = rf_model.predict(test_X)
test_oof_df[] = pred_y
r2_score_val = performance_metric(pred_y, test_y)
rmse_score = np.sqrt(mean_squared_error(pred_y, test_y))
()
(, r2_score_val)
(, rmse_score)
joblib.dump(rf_model, model_save_path + )
rmse_score
():
gdbt_model = GradientBoostingRegressor()
gdbt_model.fit(X, y)
pred_y = gdbt_model.predict(test_X)
test_oof_df[] = pred_y
r2_score_val = performance_metric(pred_y, test_y)
rmse_score = np.sqrt(mean_squared_error(pred_y, test_y))
()
(, r2_score_val)
(, rmse_score)
joblib.dump(gdbt_model, model_save_path + )
rmse_score
():
lr_model = LR()
lr_model.fit(test_oof_df, test_y)
pred_y = lr_model.predict(test_oof_df)
r2_score_val = performance_metric(pred_y, test_y)
rmse_score = np.sqrt(mean_squared_error(pred_y, test_y))
()
(, r2_score_val)
(, rmse_score)
joblib.dump(lr_model, model_save_path + )
rmse_score
():
para = pd.DataFrame(para)
dtr_model = joblib.load(model_save_path + )
dtr_pred = dtr_model.predict(para)
( % np.expm1(dtr_pred[]))
lasso_model = joblib.load(model_save_path + )
lasso_pred = lasso_model.predict(para)
( % np.expm1(lasso_pred[]))
rf_model = joblib.load(model_save_path + )
rf_pred = rf_model.predict(para)
( % np.expm1(rf_pred[]))
gdbt_model = joblib.load(model_save_path + )
gdbt_pred = gdbt_model.predict(para)
( % np.expm1(gdbt_pred[]))
[[dtr_pred[], lasso_pred[], rf_pred[], gdbt_pred[]]]
核心代码块二：
# 用于训练多个模型并计算它们的 RMSE（均方根误差）分数，并将结果保存到一个 CSV 文件中。
def train_model():
dtr_rmse = fit_decision_tree_model_forecast() # 决策树
lasso_rmse = fit_lasso_model_forecast() # Lasso
rf_rmse = fit_random_forest_regression_model() # 随机森林
gdbt_rmse = fit_gdbt_model() # GDBT
lr_rmse = fit_stacking_model() # 将返回的堆叠模型的 RMSE 分数赋值给变量 lr_rmse
rmse_result = pd.DataFrame(index=["决策树","Lasso","随机森林","GDBT","Stacking"])
rmse_result['rmse_score'] = [dtr_rmse, lasso_rmse, rf_rmse, gdbt_rmse, lr_rmse] # 将之前计算得到的各个模型的 RMSE 分数添加到 rmse_result 数据帧中的 rmse_score 列中。
rmse_result.to_csv("../dataset/testModel/rmse_result.csv", encoding='utf-8', index=False) # 将 rmse_result 数据帧保存为一个 CSV 文件
def test_model():
# 1965, 12, 8.9, 1, 3, 29, 132
# 1295124,辛德勒的名单，1993,11,9.6,3,"['剧情', '历史', '战争']",1,['美国'],48,195,322161245
# 10876425,印式英语，2023,02,8.1,3,"['剧情', '喜剧', '家庭']",1,['印度'],13,133,10299150
# 35267208,流浪地球 2,2023,01,8.4,3,"['科幻', '冒险', '灾难']",1,['中国大陆'],50,173,8394962
test_para = pd.DataFrame([[2022,2,8.4,3,1,50,173]])
test_piaofang = 8394962/10000
print("真实票房%s万" % test_piaofang)
pred_list = forecast_piaofang(test_para)
# 加载线性回归预测模型
stacking_model = joblib.load(model_save_path + 'stacking_model.pkl')
piaofang = stacking_model.predict(pred_list)[0]
piaofang = (np.expm1(piaofang), )
( % piaofang)
piaofang
():
pred_list = forecast_piaofang(para_list)
stacking_model = joblib.load(model_save_path + )
piaofang = stacking_model.predict(pred_list)[]
piaofang = (np.expm1(piaofang), )
( % piaofang)
% piaofang
():
fig = plt.figure(, figsize=(,))
plt.scatter(x1, y1, c=[], marker=)
plt.grid()
plt.xlabel(, fontsize=)
plt.ylabel(name1, fontsize=)
plt.title( % name1, fontsize=)
plt.savefig( % name1)
plt.close()
():
year_list = (data.iloc[:,])
month_list = (data.iloc[:,])
rating_list = (data.iloc[:,])
movie_type_count_list = (data.iloc[:,])
country_count_list = (data.iloc[:,])
actor_count_list = (data.iloc[:,])
runtime_list = (data.iloc[:,])
piaofang_list = (data.iloc[:,])
vis_relation(piaofang_list, year_list,)
vis_relation(piaofang_list, month_list,)
vis_relation(piaofang_list, rating_list,)
vis_relation(piaofang_list, movie_type_count_list,)
vis_relation(piaofang_list, country_count_list,)
vis_relation(piaofang_list, actor_count_list,)
vis_relation(piaofang_list, runtime_list,)
col = [,,,,,,,]
plt.subplots(figsize=(,))
corr = data.corr()
(corr)
corr.to_csv(, encoding=)
sns.heatmap(corr, xticklabels=col, yticklabels=col, linewidths=, cmap=)
plt.savefig()
__name__ == :
train_model()
piaofang = test_model()
ana_columns()
