【AI深究】K-近邻算法（KNN）详细全流程详解与案例（附大量Python代码演示）| 回归/分类、原理与算法流程、案例与完整代码演示 |K值选择与模型表现、距离度量的选择与影响、加权KNN、工程建议

优质文章学习记录

— 15 min read
【AI深究】K-近邻算法（KNN）详细全流程详解与案例（附大量Python代码演示）| 回归/分类、原理与算法流程、案例与完整代码演示 |K值选择与模型表现、距离度量的选择与影响、加权KNN、工程建议

大家好，我是爱酱。本篇我们将系统讲解K-近邻算法（KNN），内容涵盖原理、数学公式、案例流程、代码实现和工程建议，适合新手和进阶者学习。详细内容涵盖：K值选择与模型表现、距离度量的选择与影响、加权KNN，分类跟回归任务都会覆盖到！

注：本文章含大量数学算式、大量详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！

注：本文章颇长超过8500字、以及大量Python代码、非常耗时制作，建议先收藏再慢慢观看。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！

一、KNN算法简介

K-近邻算法（K-Nearest Neighbors, KNN）是一种非参数化、懒惰学习的监督学习算法，可用于分类和回归任务。KNN的核心思想是：对一个新样本，找到训练集中距离最近的K个邻居，根据这些邻居的类别或数值来预测新样本的类别或数值。

  • 分类任务（Classification）：采用多数投票原则，K个邻居中出现最多的类别为预测类别。
  • 回归任务（Regression）：取K个邻居的均值作为预测值。

我之前也在其他文章仔细介绍过分类任务和回归任务，有兴趣可以去补一下。
传送门：

分类任务介绍：【算法解析1/5】分类任务深度拆解：常用算法、评估指标、混淆矩阵与实战思考 | 准确率、精确率、召回率、F1分数、ROC-AUC？ | TP、FP、FN、TN？| 支持向量机、朴素贝叶斯、神经网络？_分类classification的任务-ZEEKLOG博客

 回归任务介绍：

【算法解析2/5】回归任务深度拆解：常用算法、评估指标、主流算法与实战思考 | 平均绝对误差MAE、均方误差MSE、均方根误差RMSE、决定系数？| 线性回归、支持向量回归、L1，L2正规化？-ZEEKLOG博客

二、KNN算法原理与数学表达

1. 距离度量

KNN的关键在于如何度量样本间的距离。常用距离有：

  • 其他：汉明距离（Hamming）、余弦距离（Cosine）等

闵可夫斯基距离（Minkowski Distance）：

d(x, y) = \left( \sum_{i=1}^n |x_i - y_i|^p \right)^{1/p}

曼哈顿距离（Manhattan Distance）：

d(x, y) = \sum_{i=1}^n |x_i - y_i|

欧氏距离（Euclidean Distance）：

d(x, y) = \sqrt{\sum_{i=1}^n (x_i - y_i)^2}

2. KNN分类数学表达

对一个新样本

$x$

，KNN的预测类别

$\hat{y}$

为：

\hat{y} = \operatorname{mode}\{y_{(1)}, y_{(2)}, ..., y_{(K)}\}

其中

$y_{(i)}$

为距离

$x$

最近的第

$i$

个训练样本的类别。

3. KNN回归数学表达

对一个新样本

$x$

，KNN的预测值

$\hat{y}$

为：

\hat{y} = \frac{1}{K} \sum_{i=1}^K y_{(i)}

其中

$y_{(i)}$

为最近K个邻居的真实数值。

三、KNN算法详细流程

Step 1：准备数据

  • 收集并整理训练数据集，包含特征和标签。
  • 对特征进行归一化或标准化（KNN对尺度敏感）。

Step 2：选择距离度量方式

  • 通常选用欧氏距离，也可根据实际需求选择其他距离。

Step 3：确定K值

  • K是超参数，需通过交叉验证或“肘部法则”选择。
  • K太小易受噪声影响，K太大则可能欠拟合。

Step 4：预测新样本

  • 对于每个新样本，计算其与所有训练样本的距离。
  • 选出距离最近的K个邻居。
  • 分类任务：统计K个邻居中出现最多的类别作为预测结果。
  • 回归任务：取K个邻居的均值作为预测结果。

Step 5：评估与调优

  • 用测试集评估模型准确率或均方误差。
  • 调整K值、距离度量方式等参数优化模型。

四、KNN案例流程与完整代码演示

案例：二维数据点分类

我们用一组二维点（2D Points）作为训练集，类别用颜色区分。新样本点用KNN算法预测其类别，并可视化决策边界。

1. 数据准备与可视化

import matplotlib.pyplot as plt import numpy as np # 训练数据 X_train = np.array([[1,2],[2,3],[3,1],[6,5],[7,7],[8,6]]) y_train = np.array([0,0,0,1,1,1]) # 0: 蓝色, 1: 红色 plt.scatter(X_train[y_train==0,0], X_train[y_train==0,1], color='blue', label='Class 0') plt.scatter(X_train[y_train==1,0], X_train[y_train==1,1], color='red', label='Class 1') plt.xlabel('X1') plt.ylabel('X2') plt.title('KNN Training Data') plt.legend() plt.show()

2. 用KNN预测新样本

import matplotlib.pyplot as plt import numpy as np from sklearn.neighbors import KNeighborsClassifier # 训练数据 X_train = np.array([[1,2],[2,3],[3,1],[6,5],[7,7],[8,6]]) y_train = np.array([0,0,0,1,1,1]) # 0: 蓝色, 1: 红色 knn = KNeighborsClassifier(n_neighbors=3) knn.fit(X_train, y_train) # 新样本 X_test = np.array([[3,4],[7,5]]) y_pred = knn.predict(X_test) print("Predicted classes:", y_pred)

 

3. 可视化决策边界

import matplotlib.pyplot as plt import numpy as np from sklearn.neighbors import KNeighborsClassifier # 训练数据 X_train = np.array([[1,2],[2,3],[3,1],[6,5],[7,7],[8,6]]) y_train = np.array([0,0,0,1,1,1]) # 0: 蓝色, 1: 红色 knn = KNeighborsClassifier(n_neighbors=3) knn.fit(X_train, y_train) # 新样本 X_test = np.array([[3,4],[7,5]]) y_pred = knn.predict(X_test) print("Predicted classes:", y_pred) # 绘制决策边界 h = .02 # 网格步长 x_min, x_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1 y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) Z = knn.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.cm.RdBu) plt.scatter(X_train[y_train==0,0], X_train[y_train==0,1], color='blue', label='Class 0') plt.scatter(X_train[y_train==1,0], X_train[y_train==1,1], color='red', label='Class 1') plt.scatter(X_test[:,0], X_test[:,1], color='green', marker='*', s=200, label='Test Points') plt.xlabel('X1') plt.ylabel('X2') plt.title('KNN Decision Boundary (K=3)') plt.legend() plt.show()

五、KNN进阶内容与工程实践

1. K值选择与模型表现

KNN的K值直接影响模型的泛化能力：

  • K太小（如K=1）：模型对噪声敏感，容易过拟合（Overfitting），决策边界复杂。
  • K太大：模型过于平滑，容易欠拟合（Underfitting），决策边界简单。

常用K值选择方法：

  • 交叉验证（Cross Validation）：在训练集上用不同K值测试，选择准确率最高的K。
  • “肘部法则”：画出K与错误率的关系曲线，选择拐点处的K。

KNN在“月牙形”数据集上的K值交叉验证的示例代码（K值交叉验证）：

import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_moons from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import cross_val_score # 增加噪声、减少样本数 X, y = make_moons(n_samples=60, noise=0.5, random_state=42) plt.scatter(X[y==0,0], X[y==0,1], color='blue', label='Class 0', alpha=0.6) plt.scatter(X[y==1,0], X[y==1,1], color='red', label='Class 1', alpha=0.6) plt.title('Noisy Moons Dataset (n=60, noise=0.5)') plt.legend() plt.show() cv = 5 max_k = 20 k_range = range(1, max_k+1) scores = [] for k in k_range: knn = KNeighborsClassifier(n_neighbors=k) score = cross_val_score(knn, X, y, cv=cv, scoring='accuracy').mean() scores.append(score) plt.plot(k_range, scores, marker='o') plt.xlabel('K') plt.ylabel('Cross-validated Accuracy') plt.title('K Selection for KNN on Noisy Moons (n=60, noise=0.5)') plt.grid(True) plt.show() best_k = k_range[np.argmax(scores)] print(f"Best K: {best_k}, Best CV Accuracy: {max(scores):.3f}") print("All scores:", scores)

代码解释

  • make_moons生成了一个有噪声、非线性可分的二分类数据集，非常适合演示KNN的K值选择。
  • cross_val_score对每个K进行5折交叉验证，记录平均准确率。
  • scores曲线显示不同K值下模型的泛化能力。

结果解读

  • K=1时，模型容易过拟合噪声点，准确率较低。
  • K变大后，模型对噪声不敏感，准确率提升，达到一个峰值（通常在K=5~10）。
  • K再变大，模型变得过于平滑，欠拟合，准确率下降。
  • 最佳K值就是准确率最高处，对应的K值就是你应该选择的K。

你会看到一条“先上升后下降”的曲线，这就是K值选择的意义所在。

注：有时候，K值到很大的情况Acc依然很高，那是因为噪声（Noise）太少了。而现实情况中，噪声是一定会出现的。因此K值不是越高越好，而是能适配最大部分情况为佳！

总结

  • KNN的K值选择在数据量小、噪声大、类别分布不均时作用最明显。
  • 真实业务中，务必用交叉验证和多K对比来选择最优K，避免模型过拟合或欠拟合。

2. 距离度量的选择与影响

不同的距离度量适用于不同的数据特征：

  • 欧氏距离：适合连续型、尺度一致的特征。
  • 曼哈顿距离：对异常值更鲁棒，适合稀疏特征。
  • 闵可夫斯基距离：p参数可调节距离的“敏感度”。
  • 余弦距离：适合文本、方向型特征。
  • 汉明距离：适合离散/二值特征。

在sklearn中可通过metric参数设置：

knn = KNeighborsClassifier(n_neighbors=3, metric='manhattan')

示例代码：

from sklearn.neighbors import KNeighborsClassifier import numpy as np # 训练数据 X_train = np.array([[1,2],[2,3],[3,1],[6,5],[7,7],[8,6]]) y_train = np.array([0,0,0,1,1,1]) # 曼哈顿距离（L1范数） knn = KNeighborsClassifier(n_neighbors=3, metric='manhattan') knn.fit(X_train, y_train) # 测试数据 X_test = np.array([[3,4],[7,5]]) y_pred = knn.predict(X_test) print("Manhattan KNN Predicted classes:", y_pred)

3. 加权KNN

加权KNN会根据距离远近给邻居不同权重，距离越近权重越高，常用权重函数为倒数权重：

w_i = \frac{1}{d(x, x_i) + \epsilon}

在sklearn中可直接设置：

knn = KNeighborsClassifier(n_neighbors=3, weights='distance')

这样，预测时距离近的邻居影响更大，模型对边界点更敏感。

示例代码：

from sklearn.neighbors import KNeighborsClassifier import numpy as np import matplotlib.pyplot as plt # 训练数据 X_train = np.array([[1,2],[2,3],[3,1],[6,5],[7,7],[8,6]]) y_train = np.array([0,0,0,1,1,1]) # 加权KNN（距离倒数加权） knn = KNeighborsClassifier(n_neighbors=3, weights='distance') knn.fit(X_train, y_train) # 测试数据 X_test = np.array([[3,4],[7,5]]) y_pred = knn.predict(X_test) print("Weighted KNN Predicted classes:", y_pred) # 决策边界可视化 h = .02 x_min, x_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1 y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) Z = knn.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.cm.RdBu) plt.scatter(X_train[y_train==0,0], X_train[y_train==0,1], color='blue', label='Class 0') plt.scatter(X_train[y_train==1,0], X_train[y_train==1,1], color='red', label='Class 1') plt.scatter(X_test[:,0], X_test[:,1], color='green', marker='*', s=200, label='Test Points') plt.xlabel('X1') plt.ylabel('X2') plt.title('Weighted KNN Decision Boundary (K=3)') plt.legend() plt.show()

4. KNN回归

KNN不仅能做分类，也能做回归。KNN回归的预测值为K个邻居的均值或加权均值。

下面是一个更复杂的KNN回归案例，包括带噪声的非线性数据、不同权重的KNN回归曲线、可视化和详细流程解释，非常适合理解KNN回归的行为和调参意义。

示例代码：KNN回归（可视化+流程讲解）

import numpy as np import matplotlib.pyplot as plt from sklearn.neighbors import KNeighborsRegressor # 1. 生成带噪声的非线性训练数据 np.random.seed(42) X_train = np.sort(5 * np.random.rand(40, 1), axis=0) y_train = np.sin(X_train).ravel() + 0.3 * np.random.randn(40) # 正弦+高斯噪声 # 2. 创建测试数据用于预测（密集采样，便于画曲线） X_test = np.linspace(0, 5, 500)[:, np.newaxis] # 3. 创建两个KNN回归模型，分别用uniform和distance权重 knn_uniform = KNeighborsRegressor(n_neighbors=5, weights='uniform') knn_distance = KNeighborsRegressor(n_neighbors=5, weights='distance') # 4. 训练模型 knn_uniform.fit(X_train, y_train) knn_distance.fit(X_train, y_train) # 5. 预测 y_pred_uniform = knn_uniform.predict(X_test) y_pred_distance = knn_distance.predict(X_test) # 6. 可视化 plt.figure(figsize=(10, 6)) plt.scatter(X_train, y_train, color='darkorange', label='Training data') plt.plot(X_test, y_pred_uniform, color='navy', label='Uniform weights') plt.plot(X_test, y_pred_distance, color='c', label='Distance weights') plt.title('KNN Regression with Uniform and Distance Weights') plt.xlabel('X') plt.ylabel('y') plt.legend() plt.show()

代码流程与结果解释

1. 数据生成
  • 用正弦函数加高斯噪声生成40个训练点，模拟现实中非线性、带噪声的回归问题。
2. 测试点
  • 用np.linspace生成0~5区间的500个点，便于画出平滑的KNN回归曲线。
3. KNN回归模型
  • weights='uniform'：每个邻居权重相同，预测值为K个邻居的简单平均。（普通的KNN 算法）
  • weights='distance'：距离越近的邻居权重越高，预测值为加权平均，更贴近局部数据。（权重和距离成反比）
4. 训练与预测
  • 分别用两种权重训练模型，并对所有测试点做预测。
5. 可视化解析
  • 橙色散点为训练样本。
  • 蓝色曲线（uniform）和青色曲线（distance）分别为两种KNN回归预测结果。
  • 可以看到distance权重的预测曲线在训练点附近更贴近真实数据，尤其在边界和噪声点多的地方。
6. 小结
KNN回归示例：带噪声的正弦数据上，使用uniform和distance权重的预测曲线对比
  • KNN回归可以拟合非线性关系，但K值和权重对结果影响很大。
  • 距离加权的KNN回归在边界或噪声多时表现更好。
  • 你可以调整n_neighbors、weights、噪声大小等参数，观察模型拟合能力和泛化能力的变化。

5. KNN的优缺点与工程建议

优点

  • 实现简单，无需训练过程，易于理解和可解释。
  • 适用于多分类、多回归问题。
  • 对异常值不敏感（K较大时）。

缺点

  • 预测时计算量大，需遍历全部训练集（可用KD树等优化）。
  • 对特征尺度敏感，需标准化或归一化。
  • 对高维数据效果差（维度灾难）。
  • K值和距离度量需调优。

工程建议

  • 特征需归一化/标准化，避免尺度影响距离计算。
  • 可用交叉验证选K和距离度量。
  • 大数据集可用KD树、球树等加速查找。
  • 适合特征维度较低、样本量中等的场景。

六、KNN算法总结

K-近邻算法（KNN）是最经典的“懒惰学习”方法之一，凭借简单直观、无模型假设、易于实现等优点，广泛应用于分类、回归、推荐、异常检测等领域。KNN的核心思想是“以邻为师”，通过距离度量和多数投票实现预测。实际应用中，建议合理选择K值、距离度量和特征预处理方法，并结合数据规模和业务需求优化模型。

谢谢你看到这里，你们的每个赞、收藏跟转发都是我继续分享的动力。

如需进一步案例、代码实现或与其他聚类算法对比，欢迎留言交流！我是爱酱，我们下次再见，谢谢收看！

Read more

PyTorch生成式人工智能（10）——CyclelGAN详解与实现

PyTorch生成式人工智能（10）——CyclelGAN详解与实现

PyTorch生成式人工智能（10）——CyclelGAN详解与实现 * 0. 前言 * 1. CycleGAN 与循环一致性损失 * 1.1 CycleGAN 架构 * 1.2 循环一致性损失 * 2. 名人面孔数据集 * 2.1 数据集下载 * 2.2 数据集处理 * 3. 构建 CycleGAN 模型 * 3.1 创建判别器 * 3.2 创建生成器 * 4. 使用 CycleGAN 实现跨域转换 * 4.1 训练 CycleGAN * 4.2 跨域转换 * 小结 * 系列链接 0. 前言 CycleGAN 的关键创新在于，

科研党沸腾！AutoFigure让AI一键画出Nature级别的论文插图，告别PPT地狱

前天发了一个PaperBanana文章： PaperBanana：AI科研人员画图终于不用头疼了 今天又刷到一篇ICLR 2026的论文，看完直接坐不住了。作为天天跟论文打交道的人，谁没为画一张像样的方法图熬过夜？现在终于有人把这事儿给彻底解决了——AutoFigure，一个能从长文本直接生成publication-ready科研插图的AI框架。 讲真，这次不是又来刷榜的那种工作。团队直接放了个大招：不仅搞出了第一个专门针对科研插图生成的benchmark FigureBench（3300对高质量文本-图片数据），还真的做出了一个能用的系统。最关键的是，人类专家评测显示，66.7%的生成结果达到了可以直接放进正式论文的标准。这可不是吹的，是实打实让10个一作来评价自己论文的图，然后给出的数据。 科研可视化这座大山，终于有人动了 咱们先聊聊为啥要做这个。科研插图有多重要？一张好图能让审稿人3分钟看懂你的核心思想，防止理解偏差。但问题是，画一张高质量的科研插图，往往要花好几天时间，还得同时具备专业知识和设计能力。 之前也有些相关工作，比如Paper2Fig100k、ACL-

非科班转码者的AI学习路径：从0到1

非科班转码者的AI学习路径：从0到1 前言 大家好，我是第一程序员（名字大，人很菜）。作为一个非科班转码、正在学习Rust的萌新，最近我开始学习AI。今天我想分享一下我作为非科班转码者的AI学习路径，希望能帮助到和我一样的同学。 一、非科班转码者学习AI的挑战 1.1 基础薄弱 作为非科班转码者，学习AI面临以下挑战： * 数学基础：AI涉及线性代数、微积分、概率论等数学知识 * 编程基础：需要掌握Python等编程语言 * 计算机基础：需要了解计算机系统、数据结构等基础知识 * 领域知识：需要了解AI的基本概念和术语 1.2 学习资源选择 市场上的AI学习资源琳琅满目，如何选择适合自己的资源是一个挑战： * 入门门槛：有些资源过于理论化，难以理解 * 实践机会：缺乏实际项目经验 * 学习路径：不知道从哪里开始，如何进阶 二、从0到1的AI学习路径 2.1 第一阶段：基础准备（1-2个月）

2026国家自然基金ai声明在哪里写?

2026国家自然基金ai声明在哪里写? 下面图中 根据2026年国家自然科学基金（NSFC）最新要求，‌AI使用声明需在申请书中明确撰写并提交‌，具体位置和撰写方式如下： 声明撰写位置建议 * ‌推荐位置‌：将AI使用声明作为独立小节，置于“‌研究方案‌”或“‌研究基础‌”部分之后，也可放在“‌伦理合规与科研诚信‌”相关章节中。 * ‌标题建议‌：使用如“‌3.X 人工智能工具使用边界与研究诚信保障策略‌”等清晰标题，便于评审查阅‌4。 声明撰写原则（权威指引） 根据基金委最新导向及多位专家解读，声明应遵循以下原则： * ‌诚实透明，宜粗不宜细‌：无需逐段罗列AI在立项依据、技术路线等各部分的具体使用情况‌610。 ‌整体性说明即可‌：例如： “本项目申请书的撰写过程中，申请人使用[工具名称，