SMOTE 算法用于解决机器学习中的类别不平衡问题。通过合成少数类样本而非简单复制，减少过拟合风险。文章涵盖原理、步骤、参数配置及多种变种如 Borderline-SMOTE、ADASYN 等，帮助理解如何提升模型泛化能力。
在机器学习和数据科学领域，处理不平衡数据集是一个常见且具有挑战性的问题。不平衡数据集指的是数据集中不同类别的样本数量存在显著差异，其中某一类别的样本数量远多于其他类别。这种情况在现实世界中比比皆是，例如：
当模型面对这些不平衡数据时，它往往会偏向多数类，而忽视少数类 —— 即使少数类通常是我们更关心的类别（比如欺诈交易或疾病诊断）。传统的处理方法如随机过采样（简单复制少数类样本）或随机欠采样（删除多数类样本）虽然简单直接，但存在明显缺陷：前者容易导致过拟合，后者则可能丢失重要信息。为了解决这些问题，研究者们开发了多种技术，其中 SMOTE（Synthetic Minority Over-sampling Technique，合成少数类过采样技术）因其有效性和创新性成为处理不平衡数据的主流方法之一。
SMOTE 是一种基于随机过采样算法的改进方案，它通过在少数类样本之间插值来生成新的合成样本，而非简单地复制现有样本。这种方法有效缓解了随机过采样容易产生的模型过拟合问题，使得模型学习到的信息更加泛化 (generalization)。
SMOTE 的核心思想可以概括为：对于每个少数类样本，算法会随机选择其 k 个最近邻，然后在这些邻居之间随机选择一个点，并在这个点和原始点之间的连线上生成新的合成样本。通过这种方式生成的新样本既保留了原始数据的特征关系，又增加了数据的多样性，从而提高了模型的泛化能力。
SMOTE 算法的具体实现步骤如下：
SMOTE 算法有几个关键参数需要配置，这些参数会影响生成样本的质量和算法的效果：
| 方法 | 优点 | 缺点 |
|---|---|---|
| 随机过采样 | 简单高效 | 可能导致过拟合，因为只是简单复制现有样本 |
| 随机欠采样 | 减少计算量 | 可能丢失多数类中的重要信息 |
| SMOTE | 生成新的合成样本，减少过拟合风险 | 在高维数据中效果不佳，可能引入类间重叠和噪声 |
随机过采样和欠采样是处理不平衡数据的基础方法，但它们的局限性也很明显。SMOTE 通过生成合成样本而非简单复制，减少了过拟合的风险，同时保留了所有少数类样本的信息。然而，SMOTE 也存在一些缺点，例如可能增加类间重叠和噪声，特别是当少数类样本周围有其他类别的样本时。此外，高维数据中的距离计算可能不准确，影响最近邻的选择，进而影响生成样本的质量。
随着 SMOTE 的广泛应用，研究者们提出了多种改进版本，针对不同的问题和应用场景进行了优化。以下是几种主要的 SMOTE 变种：
Borderline-SMOTE 是针对原始 SMOTE 在类边界处理上的不足而提出的改进算法。该算法首先识别出位于分类边界附近的'危险'样本（即容易被错误分类的样本），然后仅对这些边界样本进行过采样。 Borderline-SMOTE 的核心思想是：在分类边界附近的样本对分类器的性能影响更大，因此应该优先对这些样本进行过采样。这种方法可以有效增加用于确定分类边界的少数类样本数量，从而提高分类器的性能。
ADASYN（Adaptive Synthetic Sampling）算法是另一种重要的 SMOTE 变种，它通过自适应地改变不同少数类样本的权重，自动确定每个少数类样本需要合成新样本的数量。 ADASYN 的主要改进在于：它根据样本的困难程度（即样本周围多数类样本的比例）来调整每个少数类样本的权重。样本越难分类（周围多数类样本越多），需要生成的新样本数量就越多。这种方法特别适用于处理分布不均匀的数据集。
Safe-Level-SMOTE（SLSMOTE）是一种考虑最近少数类样本安全级别的过采样技术。该算法在生成合成样本时，会优先考虑安全系数高的少数类样本，使得新合成的样本更加接近安全系数高的样本。 SLSMOTE 的主要优势在于它能够减少生成样本的噪声，特别是在类边界附近的区域。通过引入安全级别的概念，该算法可以生成更加可靠的合成样本，从而提高分类器的性能。
SMOTExT 是一种将 SMOTE 思想应用于文本数据的新技术，专门用于处理文本领域中的类别不平衡问题。该方法通过在 BERT-based 嵌入的两个现有示例之间进行插值，然后使用 XRAG 架构将生成的潜在点解码为文本。 SMOTExT 的主要创新点在于：它利用 XRAG 的跨模态检索 - 生成框架，可以有效地将插值向量转换为连贯的文本。初步实验表明，这种方法在少样本设置下的知识蒸馏和数据增强方面显示出强大的潜力。特别值得注意的是，该方法还显示出隐私保护机器学习的前景：在早期实验中，仅在生成数据上训练的模型达到了与在原始数据集上训练的模型相当的性能。
可扩展边界 SMOTE 是一种新型的过采样方法，专门用于解决类别不平衡问题。该方法结合了边界 SMOTE 的思想和可扩展的边界检测机制，能够更准确地识别和处理位于分类边界附近的样本。 与传统的边界 SMOTE 相比，可扩展边界 SMOTE 能够自适应地调整边界的范围，从而在不同数据集上都能取得较好的效果。这种方法特别适用于处理那些类别边界复杂或不规则的数据集。
SMOTE-CS 是一种基于特征选择紧凑性和可分离性（FS-CS）原则的增强型特征选择算法改进的合成过采样技术。该方法旨在改进 SMOTE 中的噪声问题。 SMOTE-CS 的主要改进在于：它结合了特征选择和过采样技术，通过在生成合成样本之前对特征进行筛选，减少了样本类别之间的重叠率。研究表明，与 SMOTE 的通用版本相比，基于 FS-CS 改进的 SMOTE-CS 方法显著降低了样本类别之间的重叠率，从而提高了分类器的性能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
