网格搜索参数优化的 XGBoost+SHAP 回归预测及可视化分析

这些图都是发论文神器。论文价值：可解释性直接提升一档。 SCI 论文里 reviewer 最爱问：

• '模型的物理解释是什么？'
• '为什么这个特征如此重要？'
• '模型是不是只是黑盒？' 你用 SHAP，一张 beeswarm plot 就能回答所有问题。 无论你是：XGBoost、CatBoost、LightGBM、Random Forest、Gradient Boosting、NGBoost、决策树，SHAP 都能解释。

3 其他图示

🎲 一、特征值相关性热图

特征值相关性热图用于展示各特征之间的相关强弱，通过颜色深浅体现正负相关关系，帮助快速识别冗余特征、强相关特征及可能影响模型稳定性的变量，为后续特征选择和建模提供参考。

🎲 二、散点密度图

散点密度图通过颜色或亮度反映点的聚集程度，用于展示大量样本的分布特征。相比普通散点图，它能更直观地呈现高密度区域、异常点及整体趋势，常用于回归分析与模型评估。以下为训练集和测试集出图效果。

4 代码包含具体内容一览

我的代码程序中将参数最优值输出到当前目录的 best_params.txt 文本中， 并将训练集和测试集的精度评估指标保存到 metrics.mat 矩阵中。共两行，第一行代表训练集的，第二行代表测试集的；共 7 个精度评估指标，分别代表 R, R2, ME, MAE, MAPE, RMSE 以及样本数量。 保存的 regression_result.mat 数据中分别保存了名字为 Y_train、y_pred_train、y_test、y_pred_test 的矩阵向量。 同样的针对大家各自的数据训练出的模型结构也保存在 model.json 中，方便再一次调用。 调用的程序我在程序中注释了，如下

# 加载模型
# model.load_model("model.json") 

主程序如下，其中从 1-10，每一步都有详细的注释，要获取完整程序，请转下文代码获取

# ========================================================= # 主程序 # ========================================================= def main(): print("=== 1. 读取数据 ===") data = pd.read_excel("data.xlsx") X = data.iloc[:, :10].values y = data.iloc[:, 10].values feature_names = list(data.columns[:10]) print("=== 2. 划分训练与测试 ===") X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) print("=== 3. 归一化 ===") scaler_X = MinMaxScaler() scaler_y = MinMaxScaler() X_train_norm = scaler_X.fit_transform(X_train) X_test_norm = scaler_X.transform(X_test) y_train_norm = scaler_y.fit_transform(y_train.reshape(-1, 1)).ravel() print("=== 4. 模型训练 ===") model = train_model(X_train_norm, y_train_norm) print("=== 5. 预测（反归一化到原始尺度） ===") y_pred_train_norm = model.predict(X_train_norm) y_pred_test_norm = model.predict(X_test_norm) y_pred_train = scaler_y.inverse_transform( y_pred_train_norm.reshape(-1, 1) ).ravel() y_pred_test = scaler_y.inverse_transform( y_pred_test_norm.reshape(-1, 1) ).ravel() print("=== 6. 模型评估 ===") metrics_train = evaluate_model(y_train, y_pred_train) metrics_test = evaluate_model(y_test, y_pred_test) print("\n训练集评估指标:") for k, v in metrics_train.items(): print(f" {k}: {v:.4f}" if isinstance(v, float) else f" {k}: {v}") print("\n测试集评估指标:") for k, v in metrics_test.items(): print(f" {k}: {v:.4f}" if isinstance(v, float) else f" {k}: {v}") print("=== 7. 保存结果到 MAT 文件 ===") result_dict = { "y_train": y_train.astype(float), "y_pred_train": y_pred_train.astype(float), "y_test": y_test.astype(float), "y_pred_test": y_pred_test.astype(float), } savemat("regression_result.mat", result_dict) print("已保存 regression_result.mat") # 按指标顺序排列 metrics_matrix = np.array([ [metrics_train['R'], metrics_test['R']], [metrics_train['R2'], metrics_test['R2']], [metrics_train['ME'], metrics_test['ME']], [metrics_train['MAE'], metrics_test['MAE']], [metrics_train['MAPE'], metrics_test['MAPE']], [metrics_train['RMSE'], metrics_test['RMSE']], [metrics_train['样本数'], metrics_test['样本数']] ], dtype=float) savemat("metrics.mat", {"metrics": metrics_matrix}) print("已保存 metrics.mat（矩阵大小 7×2）") print("=== 8. SHAP 分析 ===") X_combined = np.vstack([X_train_norm, X_test_norm]) X_df = pd.DataFrame(X_combined, columns=feature_names) # shap_results = shap_analysis(model, X_combined, feature_names) plot_shap_dependence(model, X_combined, feature_names, X_df) print("=== 9. 密度散点图 ===") plot_density_scatter( y_test, y_pred_test, save_path="scatter_density_test.png" ) plot_density_scatter( y_train, y_pred_train, save_path="scatter_density_train.png" ) print("=== 10. 相关性热图 ===") correlation_heatmap(data, feature_names) print("=== 完成！===") if __name__ == "__main__": main()