Python 数据分析实战：4 个经典项目案例

项目二：心脏病诊断分类预测

项目目标

基于患者生理指标数据构建分类模型，预测心脏病患病风险，并对比不同算法的性能表现。

数据处理与建模流程

数据预处理

• 缺失值处理：将"?"替换为 NaN，采用中位数填充
• 数据类型转换：确保所有列转换为数值型
• 目标变量处理：进行二值化转换（>0 为 1，否则为 0）

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, classification_report
from sklearn.impute import SimpleImputer

# 数据加载与清洗
data = pd.read_csv('Heart_Disease.csv')
data.replace('?', np.nan, inplace=True)
for col in data.columns:
    data[col] = pd.to_numeric(data[col], errors='coerce')

# 缺失值填充
imputer = SimpleImputer(strategy='median')
data = pd.DataFrame(imputer.fit_transform(data), columns=data.columns)
data['target'] = data['target'].apply(lambda x: 1 if x > 0 else 0)

特征工程

• 划分特征集与目标变量
• 数据集拆分（训练集 70%，测试集 30%）
• 特征标准化处理

模型构建

实现并对比三种分类算法：

• 逻辑回归
• 决策树
• 随机森林

# 逻辑回归
lr = LogisticRegression(max_iter=1000, random_state=42)
lr.fit(X_train_scaled, y_train)

# 决策树
dt = DecisionTreeClassifier(max_depth=5, random_state=42)
dt.fit(X_train, y_train)

# 随机森林
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)

模型性能对比

最优模型（逻辑回归）评估报告

• 精确率（Precision）：
  • 阴性：0.89
  • 阳性：0.81
• 召回率（Recall）：
  • 阴性：0.81
  • 阳性：0.88
• F1 分数：
  • 阴性：0.85
  • 阳性：0.84

关键结论

1. 逻辑回归与随机森林表现最佳，准确率均达到 84.62%
2. 模型对阳性病例（患病）的识别能力突出（召回率 88%），适合用于初步筛查
3. 决策树性能相对欠佳，可能需通过调整参数复杂度来优化

项目三：大学录取率预测模型

项目目标

基于申请者的 GRE、TOEFL 等标准化考试成绩，构建线性回归模型预测录取概率。

核心实现步骤

1. 数据预处理
   • 读取录取预测数据集
   • 移除无关字段（序列号）
   • 规范化列名格式

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, r2_score

# 中文显示配置
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 数据加载与清洗
data = pd.read_csv('Admission_Predict.csv')
data = data.drop('Serial No.', axis=1)
data.columns = data.columns.str.strip()

2. 模型构建
   • 划分训练集/测试集（80%/20%）
   • 标准化特征数据
   • 训练线性回归模型
3. 模型评估
   • 计算 MSE 和 R²评估指标
   • 可视化真实值与预测值对比

# 模型预测与评估
model = LinearRegression()
model.fit(X_train_scaled, y_train)
y_test_pred = model.predict(X_test_scaled)
mse = mean_squared_error(y_test, y_test_pred)
r2 = r2_score(y_test, y_test_pred)
print(f"均方误差 (MSE)：{mse:.4f}")
print(f"决定系数 (R²)：{r2:.4f}")

# 结果可视化
plt.figure(figsize=(6, 4))
plt.scatter(y_test, y_test_pred, alpha=0.6)
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--')
plt.xlabel('真实录取率')
plt.ylabel('预测录取率')
plt.title('真实值 vs 预测值对比')
plt.grid(alpha=0.3)
plt.show()

模型表现

• 均方误差：0.0047（理想范围）
• 决定系数：0.7956（解释力良好）

预测案例

申请者档案：

• GRE 325 | TOEFL 110 | GPA 8.9 | 有研究经历 预测录取概率：80.09%

核心发现

1. 模型预测效果良好（R²=79.56%），预测值与实际值分布吻合
2. 关键影响因素：
   • 标准化考试成绩（GRE/TOEFL）
   • 本科 GPA
   • 科研经历

项目四：NBA 球员聚类分析

项目目标

基于球员比赛统计数据，运用聚类算法对 NBA 球员进行分类，挖掘不同类型球员的特征表现。

实现流程

1. 数据预处理
   • 处理重复球员数据（保留 TOT 汇总记录）
   • 缺失值处理：
     • 命中率相关字段填充 0
     • 其他数值型字段填充均值

import pandas as pd
import numpy as np
from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import silhouette_score, davies_bouldin_score

# 数据读取与预处理
df = pd.read_csv('NBA_Player_Statistics.csv')

# 处理重复球员
if 'Tm' in df.columns:
    df['is_tot'] = df['Tm'] == 'TOT'
    df = df.sort_values(['Player', 'is_tot'], ascending=[True, False])
    df = df.drop_duplicates('Player', keep='first').drop('is_tot', axis=1)

# 缺失值填充
fill_0_cols = ['FG%', '3P%', 'FT%']
for col in fill_0_cols:
    if col in df.columns:
        df[col].fillna(0, inplace=True)
numeric_cols = df.select_dtypes(include=np.number).columns
for col in numeric_cols:
    df[col].fillna(df[col].mean(), inplace=True)

2. 特征选择
   • 选取 10 个核心比赛指标（上场时间、得分、命中率、助攻、篮板等）
3. 聚类算法实现
   • 对比 K-Means、层次聚类、DBSCAN 三种算法
4. 聚类评估
   • 使用轮廓系数（越大越好）和 DB 指数（越小越好）评估效果

算法性能对比

K-Means 聚类结果（5 类球员）

关键结论

• DBSCAN 的 DB 指数最低（0.8222），聚类紧凑性最佳
• K-Means 轮廓系数最高，聚类分离度最优
• NBA 球员可分为 5 类：核心球员、内线球员、外线射手、替补球员和边缘球员
• 核心球员各项指标表现突出，上场时间最长

技术栈总结

• 数据处理：pandas、numpy
• 建模算法：scikit-learn
• 可视化：matplotlib
• 数据挖掘：关联规则挖掘、聚类分析

项目收获

1. 掌握数据分析全流程：数据预处理→特征工程→模型构建→评估优化
2. 理解算法适用场景：
   • 关联规则：变量关系挖掘
   • 分类算法：离散标签预测
   • 回归分析：连续值预测
   • 聚类分析：无监督分组
3. 掌握多种模型评估指标：轮廓系数、DB 指数、准确率、R²等

改进方向

1. 优化特征工程：增加特征交叉、特征选择
2. 超参数调优：使用 GridSearchCV 优化参数
3. 算法扩展：尝试神经网络等深度学习模型
4. 增强可视化：PCA 降维展示聚类结果，丰富数据洞察图表

结语

数据分析的核心价值在于从海量原始数据中提炼出可落地的商业洞察与科学规律。本文通过四个典型案例，系统展示了数据挖掘的四大核心任务：

1. 关联规则挖掘（电影类型关联分析）：
   • 应用 Apriori 算法揭示'看过 A 类电影的观众偏好 B 类'的关联规则
   • 典型场景：视频推荐系统、商品组合营销
2. 分类预测（心脏病诊断预测）：
   • 采用逻辑回归、随机森林等算法构建疾病风险评估模型
   • 核心指标：准确率、召回率、AUC 值
   • 医疗应用：早期筛查、个性化治疗
3. 回归分析（大学录取率预测）：
   • 建立多元线性回归模型量化影响因素
   • 可解释性分析：标准化系数对比、P 值检验
   • 教育应用：招生政策优化、资源调配
4. 聚类分析（NBA 球员特征聚类）：
   • 运用 K-means 算法识别球员技术特征群体
   • 关键处理：数据标准化、PCA 降维
   • 体育应用：人才选拔、战术制定

这些案例彰显了 Python 数据分析生态的强大优势：

• 数据处理：pandas 高效完成数据清洗与转换
• 特征工程：scikit-learn 预处理工具实现特征优化
• 建模分析：scikit-learn 统一 API 支持快速迭代
• 可视化：matplotlib/seaborn 生成专业图表
• 部署应用：Flask/Django 实现分析结果服务化

从数据获取到模型部署，这套完整分析流程可有效解决商业智能、医疗健康、教育管理、体育分析等领域的实际问题。随着数据规模扩大和技术进步，数据挖掘将在更多场景创造实际价值。