支持向量机（SVM）原理、分类与回归详解及 Python 代码实现

，允许部分样本被误分：

约束：

控制间隔最大化与误分类惩罚的权衡。

3. 非线性 SVM 与核方法

当数据线性不可分时，SVM 通过**核函数（Kernel Trick）**将数据映射到高维空间，使其线性可分。

常见核函数：

高斯径向基核（RBF）：

多项式核：

线性核：

核方法让 SVM 能处理复杂的非线性分类问题。

4. SVM 分类的对偶问题与支持向量

SVM 最终可转化为对偶问题，只有支持向量（即

的样本）参与决策：

约束：

最终分类函数：

三、SVM 回归（SVR, Support Vector Regression）原理

SVM 不仅能做分类，还能做回归（SVR）。其目标是找到一个对大多数样本误差在 $\epsilon$ 范围内的回归函数。

SVR 优化目标：

约束：

SVR 同样可结合核函数实现非线性回归。

四、SVM 分类案例流程（手动二维数据）

1. 构造数据

假设我们有如下二维点：

类别 1 用红色，类别 -1 用蓝色。

2. 可视化原始数据

• 用散点图画出这 6 个点，不同类别不同颜色。
• 你会看到两组点在二维空间中分布明显。

3. SVM 训练流程

• 目标：找到一条直线（超平面）将两类点分开，并让两类点距离这条线的**'间隔'**最大。
• SVM 自动确定这条线的位置和方向。
• 训练后，距离分界线最近的点就是**'支持向量（Support Vector）'**，它们决定了分类边界。

4. 结果与决策边界

• SVM 会输出决策边界（分界线），并标出支持向量。
• 你可以用网格点可视化 SVM 的分界线和每个点的分类区域。

五、SVR 回归案例流程（手动一维数据）

1. 构造数据

假设我们有如下回归样本：

2. 可视化原始数据

• 用散点图画出 $x$ 与 $y$ 的关系。

3. SVR 训练流程

• 目标：找到一条曲线或直线，使得大部分点落在'$\epsilon$带宽'内（即误差在 $\epsilon$ 以内）。
• 带宽外的点会产生惩罚，模型会平衡拟合度和间隔宽度。
• 支持向量是那些正好落在 $\epsilon$ 带宽边界上的点。

4. 结果与回归曲线

• SVR 会输出拟合曲线和 $\epsilon$ 带宽（上下两条虚线）。
• 可视化时，回归曲线穿过数据点，大部分点在带宽内，极少数点在带宽外。

六、完整 Python 代码实现（含数据、SVM 及 SVR 示例）

请确保已安装 scikit-learn 库。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC, SVR

# SVM 分类案例
X_cls = np.array([[2,3],[3,3],[2,2],[7,8],[8,8],[7,7]])
y_cls = np.array([1,1,1,-1,-1,-1])

plt.figure(figsize=(6,5))
plt.scatter(X_cls[y_cls==1,0], X_cls[y_cls==1,1], color='red', label='Class 1')
plt.scatter(X_cls[y_cls==-1,0], X_cls[y_cls==-1,1], color='blue', label='Class -1')
plt.xlabel('x1')
plt.ylabel('x2')
plt.title('Raw Data (SVM Classification)')
plt.legend()
plt.show()

# 训练 SVM
clf = SVC(kernel='linear', C=100)
clf.fit(X_cls, y_cls)

# 可视化决策边界
w = clf.coef_[0]
b = clf.intercept_[0]
xx = np.linspace(1, 9, 100)
yy = -(w[0]*xx + b)/w[1]

plt.figure(figsize=(6,5))
plt.scatter(X_cls[y_cls==1,0], X_cls[y_cls==1,1], color='red', label='Class 1')
plt.scatter(X_cls[y_cls==-1,0], X_cls[y_cls==-1,1], color='blue', label='Class -1')
plt.plot(xx, yy, 'k-', label='Decision Boundary')
plt.scatter(clf.support_vectors_[:,0], clf.support_vectors_[:,1], s=120, facecolors='none', edgecolors='k', linewidths=1.5, label='Support Vectors')
plt.xlabel('x1')
plt.ylabel('x2')
plt.title('SVM Decision Boundary & Support Vectors')
plt.legend()
plt.show()

# SVR 回归案例
X_reg = np.array([[-2],[-1],[0],[1],[2]])
y_reg = np.array([-1.1, -0.8, 0.1, 0.9, 1.2])

plt.scatter(X_reg, y_reg, color='blue', label='Data')
plt.xlabel('x')
plt.ylabel('y')
plt.title('Raw Data (SVR Regression)')
plt.legend()
plt.show()

# 训练 SVR
svr = SVR(kernel='linear', C=10, epsilon=0.1)
svr.fit(X_reg, y_reg)

X_plot = np.linspace(-2.5, 2.5, 100).reshape(-1,1)
y_pred = svr.predict(X_plot)

plt.scatter(X_reg, y_reg, color='blue', label='Data')
plt.plot(X_plot, y_pred, color='red', label='SVR Prediction')
plt.xlabel('x')
plt.ylabel('y')
plt.title('SVR Regression with Epsilon-Tube')

# 画出 epsilon 带宽
plt.plot(X_plot, y_pred + svr.epsilon, 'k--', lw=1)
plt.plot(X_plot, y_pred - svr.epsilon, 'k--', lw=1)
plt.legend()
plt.show()

图示说明

1. SVM 分类原始数据分布

   • 内容：二维平面上红色点（Class 1）和蓝色点（Class -1），分别对应你手动输入的 6 个点。
   • 用途：展示 SVM 分类前各类别样本的空间分布。

2. SVM 决策边界与支持向量

   • 内容：红色和蓝色点分布，与上图一致；黑色实线为 SVM 学到的分类决策边界（超平面）；用黑色空心圆圈特别标出了支持向量（即决定分类边界的样本点）。
   • 用途：直观展示 SVM 如何找到最优分界线，以及哪些点是支持向量。

3. SVR 回归原始数据

   • 用途：展示回归前数据的分布情况。
   • 内容：一维自变量 $x$ 与目标 $y$ 的蓝色散点图，展示你输入的 5 个回归样本。

4. SVR 回归拟合与 $\epsilon$ 带宽

   • 用途：直观展示 SVR 拟合效果，以及 $\epsilon$ 带宽内外的数据点分布。
   • 内容：蓝色散点为原始数据点，红色曲线为 SVR 拟合出来的回归直线，黑色虚线为 $\epsilon$ 带宽（即允许误差范围）。

七、流程小结

• SVM 分类：先画点→找分界线→支持向量→可视化决策边界
• SVR 回归：先画点→拟合回归线→画出 $\epsilon$ 带宽→可视化结果

八、SVM 的优缺点与工程建议

优点：

• 理论基础扎实，泛化能力强
• 能处理高维、非线性、复杂边界数据
• 支持多种核函数，灵活性高
• 仅依赖支持向量，模型稀疏

缺点：

• 对参数（C、gamma）和特征缩放敏感
• 训练时间长，难以扩展到超大数据集
• 对多分类支持有限（需用一对多/一对一策略）

工程建议：

• 特征需标准化或归一化
• 小中型数据、特征维度高时优先尝试 SVM
• 通过网格搜索等方法调优 C 和 gamma
• 分类、回归、异常检测等任务均可尝试 SVM

九、总结

支持向量机（SVM）是机器学习中极具代表性的基础模型之一，广泛应用于分类、回归、异常检测等任务。其最大间隔、核方法、支持向量等思想为后续众多算法奠定了理论基础。实际工程中，建议结合特征工程、参数调优和业务需求，灵活选择 SVM 的不同用途和核函数，发挥其最大价值。