人工智能模型评估：核心指标与方法体系

from sklearn.metrics import recall_score

recall = recall_score(y_true, y_pred)
print(f'Recall: {recall}')

4. F1 分数 (F1-Score)

F1 分数是精确率和召回率的调和平均数，用于衡量模型的准确性和完整性的平衡。当需要综合考虑精确率和召回率时使用。

$$ F1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$

F1 分数的范围是 0 到 1，1 表示完美的精确率和召回率，0 表示两者都很差。

from sklearn.metrics import f1_score

f1 = f1_score(y_true, y_pred)
print(f'F1 Score: {f1}')

5. 混淆矩阵 (Confusion Matrix)

混淆矩阵是一个表格，用于描述模型预测和实际标签之间的关系，直观展示 TP, TN, FP, FN 的分布。

$$ \text{Confusion Matrix} = \begin{bmatrix} TP & FP \ FN & TN \end{bmatrix} $$

from sklearn.metrics import confusion_matrix

conf_matrix = confusion_matrix(y_true, y_pred)
print(f'Confusion Matrix:\n{conf_matrix}')

6. ROC 曲线和 AUC 分数

ROC 曲线是通过不同阈值绘制真正率（召回率）与假正例率（1 - 特异率）的图形。AUC（Area Under the ROC Curve）分数表示模型的整体性能，AUC 越高，模型性能越好。AUC 值越接近 1，模型区分能力越强。

from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

# 假设 y_scores 是模型输出的概率或分数
y_scores = [0.1, 0.4, 0.35, 0.8, 0.7]

fpr, tpr, thresholds = roc_curve(y_true, y_scores)
roc_auc = auc(fpr, tpr)

plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC curve (area = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()

回归任务评估指标

对于回归问题，MAE 和 MSE 是常用的评估指标。

1. 平均绝对误差 (MAE)

$$ MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$

MAE 对异常值的敏感度较低，解释性强。

2. 均方误差 (MSE)

$$ MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$

MSE 对较大的误差惩罚更重，常用于梯度下降优化目标。

from sklearn.metrics import mean_absolute_error, mean_squared_error

# 真实值和预测值
y_true_regression = [3, -0.5, 2, 7]
y_pred_regression = [2.5, 0.0, 2, 8]

mae = mean_absolute_error(y_true_regression, y_pred_regression)
mse = mean_squared_error(y_true_regression, y_pred_regression)

print(f'MAE: {mae}')
print(f'MSE: {mse}')

指标选择策略

在实际项目中，单一指标往往不足以全面评估模型，需根据业务场景权衡：

1. 类别不平衡场景：如果正负样本比例严重失衡，准确率会失效，应优先关注 Precision、Recall 或 F1 分数。
2. 误报 vs 漏报成本：
   • 若误报成本高（如垃圾邮件拦截），提高 Precision。
   • 若漏报成本高（如癌症筛查），提高 Recall。
3. 综合性能：F1 分数适合在 Precision 和 Recall 之间寻找平衡点。
4. 排序能力：AUC 适合评估模型在不同阈值下的整体排序能力，不受阈值选择影响。
5. 回归精度：MAE 适合关注平均偏差，MSE 适合关注大误差的惩罚。

选择合适的评估指标是构建可靠 AI 系统的关键步骤，通常需要结合多个指标进行综合分析。