机器学习模型评价与算法选择综述
1. 引言：关于模型评价的基本术语和技术
在机器学习的实际应用中，我们最关心的核心指标是模型的泛化性能（Generalization Performance），即模型对未见过的数据的预测能力。为了准确评估这一性能，必须采用科学的实验设计和统计方法。
1.1 性能估计与模型选择
模型训练过程通常涉及将数据集划分为训练集和测试集。训练集用于学习参数，测试集用于评估最终性能。然而，简单的单次划分（Holdout Method）往往会导致评估结果的高方差，特别是在数据量有限的情况下。
模型选择（Model Selection）是指在候选模型集合中确定最优模型的过程。这包括选择模型类型（如决策树、神经网络）以及调整超参数。正确的评估方法是避免过拟合的关键，确保选出的模型在真实场景中表现稳定。
1.2 假设和术语
在讨论模型评价时，需明确以下基本术语：
- 模型（Model）：从数据中学习到的预测函数或映射关系。
- 算法（Algorithm）：用于构建模型的计算过程或策略。
- 性能度量（Performance Metric）：评价模型的标准，如准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 分数或均方误差（MSE）等。
- 偏差（Bias）：模型预测期望值与真实值之间的差异。
- 方差（Variance）：模型在不同训练集上预测结果的波动程度。
1.3 重复验证和保留方法
重复验证（Repeated Validation）
重复验证是指多次使用不同的随机划分来评估模型性能，然后取平均值作为最终的性能估计。这种方法通过增加实验次数降低了单次划分的偶然性影响。
保留方法（Holdout Method）
保留方法是最基础的评估方式，将数据集划分为互斥的训练集和测试集。虽然计算成本低，但在小样本场景下，测试集的代表性可能不足，导致评估结果不稳定。
2. 自举和不确定性分析
2.1 概述
自举（Bootstrap）是一种强大的重采样统计技术，用于估计统计量的抽样分布。在机器学习中，它主要用于量化模型性能的不确定性，帮助理解模型的稳定性和可靠性。
2.2 重采样机制
重采样是自举的核心。它指从原始数据集中有放回地随机抽取 N 个样本形成新的数据集。通过重复此过程生成多个自助样本，可以在这些样本上训练和评估模型，从而获得性能指标的分布。
2.3 经验置信区间
利用自举方法可以计算模型性能的经验置信区间。例如，如果在 1000 次自举实验中，模型准确率的 95% 置信区间为 [75%, 80%]，这意味着我们有 95% 的把握认为模型的真实性能落在此范围内。这比单一数值更能反映模型的实际表现。
2.4 小数据集的建议
在小数据集上，传统的留出法（Holdout）往往不可靠，因为训练集过小可能导致欠拟合，而测试集过小则导致评估方差过大。此时推荐使用 Bootstrap 技术来评估性能的不确定性，因为它能更充分地利用有限的数据。
3. 交叉验证和超参数优化
3.1 概述
交叉验证（Cross-Validation, CV）通过将数据集分割为多个子集，轮流使用其中一个子集作为测试集，其余作为训练集，从而更全面地评估模型性能。超参数优化则是寻找最佳配置参数的过程。
3.2 超参数与模型选择
超参数是在训练前设定的参数（如学习率、正则化系数）。选择合适的超参数对性能至关重要。模型选择通常结合交叉验证进行，以确保在验证集上表现最好的模型具有较好的泛化能力。
3.3 三路保留方法
三路保留法将数据分为训练集、验证集和测试集。训练集用于模型训练，验证集用于调优超参数，测试集仅用于最终评估。这种方法能有效防止信息泄露导致的过拟合。
3.4 k-折交叉验证简介
k-折交叉验证将数据分为 k 个子集。每次迭代选取一个子集作为测试集，其余 k-1 个作为训练集。最终性能为 k 次迭代的平均值。常用的 k 值为 5 或 10。
