一、SVM 简介与应用场景
支持向量机（SVM）是一种基于统计学习理论的监督学习模型，最初用于二分类问题，但已广泛应用于多分类、回归、异常检测等场景。其核心思想是：在特征空间中寻找一个最优超平面，将不同类别的样本分开，并最大化类别间的间隔（margin）。
典型应用
- 文本/垃圾邮件分类
- 图像识别与人脸检测
- 基因/蛋白质分类、生物信息学
- 手写数字识别
- 金融风控、异常检测
- 回归预测（SVR）
二、SVM 分类的数学原理
1. 线性可分 SVM
对于线性可分数据，SVM 目标是在特征空间中找到一个最优超平面（optimal separating hyperplane），使得两类样本间隔最大。
决策函数：$f(x) = \mathrm{sign}(w^T x + b)$
最优间隔的数学表达：$\min_{w, b} \frac{1}{2} |w|^2$
约束条件：$y_i (w^T x_i + b) \geq 1, \quad \forall i$
支持向量：距离超平面最近的样本点，决定了分类边界的位置。
2. 软间隔与正则化
实际数据往往不可完全线性分割，引入松弛变量 $\xi_i$ 和正则化参数 $C$，允许部分样本被误分：
$\min_{w, b, \xi} \frac{1}{2} |w|^2 + C \sum_{i=1}^n \xi_i$
约束：$y_i (w^T x_i + b) \geq 1 - \xi_i, \quad \xi_i \geq 0$
$C$ 控制间隔最大化与误分类惩罚的权衡。
3. 非线性 SVM 与核方法
当数据线性不可分时，SVM 通过核函数（Kernel Trick）将数据映射到高维空间，使其线性可分。
常见核函数：
高斯径向基核（RBF）：$K(x, x') = \exp\left(-\gamma |x - x'|^2\right)$
多项式核：$K(x, x') = (x^T x' + c)^d$
线性核：$K(x, x') = x^T x'$
核方法让 SVM 能处理复杂的非线性分类问题。
4. SVM 分类的对偶问题与支持向量
SVM 最终可转化为对偶问题，只有支持向量（即 $\alpha_i > 0$ 的样本）参与决策：
$\max_{\alpha} \sum_{i=1}^n \alpha_i - \frac{1}{2} \sum_{i,j=1}^n \alpha_i \alpha_j y_i y_j K(x_i, x_j)$
约束：$0 \leq \alpha_i \leq C, \quad \sum_{i=1}^n \alpha_i y_i = 0$
最终分类函数：$f(x) = \mathrm{sign}\left(\sum_{i=1}^n \alpha_i y_i K(x_i, x) + b\right)$
三、SVM 回归（SVR, Support Vector Regression）原理
SVM 不仅能做分类，还能做回归（SVR）。其目标是找到一个对大多数样本误差在 $\epsilon$ 范围内的回归函数。
SVR 优化目标：
$\min_{w, b, \xi, \xi^} \frac{1}{2} |w|^2 + C \sum_{i=1}^n (\xi_i + \xi_i^)$
约束：
$\begin{cases} y_i - (w^T x_i + b) \leq \epsilon + \xi_i \ (w^T x_i + b) - y_i \leq \epsilon + \xi_i^* \ \xi_i, \xi_i^* \geq 0 \end{cases}$
SVR 同样可结合核函数实现非线性回归。