PythonAI算法
无监督学习的原理、算法与结构发现
系统介绍了无监督学习的三大核心任务：聚类、降维和密度估计。详细讲解了 K-Means、高斯混合模型（GMM）、主成分分析（PCA）、t-SNE 等经典算法的原理与实现。通过鸢尾花数据集的实战演示，展示了从数据标准化到模型评估的完整流程。文章还探讨了无监督学习在特征工程、异常检测及自监督预训练中的应用，并分析了其局限性与未来发展方向。
系统介绍了无监督学习的三大核心任务：聚类、降维和密度估计。详细讲解了 K-Means、高斯混合模型（GMM）、主成分分析（PCA）、t-SNE 等经典算法的原理与实现。通过鸢尾花数据集的实战演示，展示了从数据标准化到模型评估的完整流程。文章还探讨了无监督学习在特征工程、异常检测及自监督预训练中的应用，并分析了其局限性与未来发展方向。
'世界上绝大多数数据都没有标签。 真正的智能，不是在已知答案中选择，而是在混沌中发现秩序。' ——无监督学习的哲学
在前七章中，我们系统学习了监督学习（Supervised Learning）的核心范式：给定输入 $\mathbf{x}$ 和对应标签 $y$，学习映射 $f: \mathbf{x} \mapsto y$。无论是线性回归、决策树，还是神经网络，都依赖于标注数据这一稀缺资源。
然而，现实世界的数据绝大多数是未标注的：
获取高质量标签往往成本高昂、耗时漫长，甚至涉及伦理问题（如心理状态标注）。于是，无监督学习（Unsupervised Learning）应运而生——它试图在没有标签的情况下，从数据本身发现隐藏结构、模式或表示。
🎯 本章目标：理解无监督学习的三大核心任务：聚类、降维、密度估计；深入掌握 K-Means、高斯混合模型（GMM）、主成分分析（PCA）、t-SNE 等经典算法；从概率图模型视角统一理解生成式方法；动手实现关键算法并可视化其效果；探讨无监督学习在特征工程、异常检测、预训练中的实际应用；辩证看待'无监督'的局限性与未来方向。
无监督学习虽无统一目标函数，但可归纳为三类核心任务：
目标：将相似样本归为一类，不同类之间差异显著。
典型应用：
目标：将高维数据映射到低维空间（通常 $d' \ll d$），同时保留重要结构。
典型应用：
目标：估计数据的概率密度函数 $p(\mathbf{x})$。
典型应用：
🔑 统一视角： 所有无监督方法都在回答一个问题：'数据是如何生成的？' 聚类假设数据来自多个子分布；降维假设数据位于低维流形；密度估计直接建模整体分布。
K-Means 是最经典的聚类算法，其目标是最小化簇内平方和（Within-Cluster Sum of Squares, WCSS）：
$$ \min_{{\mu_k}, {c_i}} \sum_{k=1}^{K} \sum_{i: c_i = k} | \mathbf{x}_i - \mu_k |^2 $$
其中：
✅ 优点：简单、高效、易于实现；
❌ 缺点：需预先指定 $K$；对初始值敏感（可能陷入局部最优）；假设簇为凸形且大小相近（无法处理月牙形等非凸簇）。
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
# 生成模拟数据
X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.6, random_state=42)
# 训练 K-Means
kmeans = KMeans(n_clusters=4, n_init=10, random_state=42)
y_pred = kmeans.fit_predict(X)
# 可视化
plt.scatter(X[:,0], X[:,1], c=y_pred, cmap='viridis', s=50)
plt.scatter(kmeans.cluster_centers_[:,0], kmeans.cluster_centers_[:,1], c='red', marker='x', s=200, linewidths=3)
plt.title("K-Means Clustering")
plt.show()
K-Means 是硬分配（每个样本只属于一个簇），而 GMM 提供软分配（每个样本属于各簇的概率）。
数据由 $K$ 个高斯分布混合生成：
$$ p(\mathbf{x}) = \sum_{k=1}^{K} \pi_k \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k) $$
其中：
由于存在隐变量（样本所属的簇 $z_i \in {1,...,K}$），使用期望最大化（Expectation-Maximization, EM）算法：
✅ GMM 优势：提供概率解释；可拟合椭圆、倾斜等非球形簇；自然支持异常检测（低概率样本）。
from sklearn.mixture import GaussianMixture
gmm = GaussianMixture(n_components=4, covariance_type='full', random_state=42)
y_prob = gmm.fit_predict(X)
plt.scatter(X[:,0], X[:,1], c=y_prob, cmap='viridis', s=50)
plt.title("Gaussian Mixture Model")
plt.show()
| 算法 | 核心思想 | 适用场景 |
|---|---|---|
| DBSCAN | 基于密度，自动发现簇数，可识别噪声 | 非凸簇、含噪声数据 |
| 层次聚类 | 构建树状图（Dendrogram），可任意切分 | 小数据集、需多粒度分析 |
| 谱聚类 | 利用图拉普拉斯矩阵的特征向量 | 图结构数据、复杂流形 |
PCA 是最经典的线性降维方法，其目标是找到一组正交基，使得数据在该基下的投影方差最大。
设数据中心化后为 $\mathbf{X} \in \mathbb{R}^{n \times d}$，协方差矩阵为：
$$ \mathbf{C} = \frac{1}{n} \mathbf{X}^\top \mathbf{X} $$
PCA 寻找单位向量 $\mathbf{w}$，最大化投影方差：
$$ \max_{|\mathbf{w}|=1} \text{Var}(\mathbf{X} \mathbf{w}) = \mathbf{w}^\top \mathbf{C} \mathbf{w} $$
通过拉格朗日乘子法，得最优解为 $\mathbf{C}$ 的最大特征值对应的特征向量。
对前 $k$ 个主成分，投影矩阵 $\mathbf{W}_k \in \mathbb{R}^{d \times k}$ 由前 $k$ 大特征值对应的特征向量组成。
降维后表示：
$$ \mathbf{Z} = \mathbf{X} \mathbf{W}_k $$
✅ PCA 本质：对数据进行正交变换，保留最大信息（方差）。
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
print("Explained variance ratio:", pca.explained_variance_ratio_)
plt.scatter(X_pca[:,0], X_pca[:,1], alpha=0.7)
plt.xlabel(f"PC1 ({pca.explained_variance_ratio_[0]:.2%})")
plt.ylabel(f"PC2 ({pca.explained_variance_ratio_[1]:.2%})")
plt.title("PCA Projection")
plt.show()
PCA 是全局线性方法，无法处理流形结构（如瑞士卷）。t-SNE（t-Distributed Stochastic Neighbor Embedding）通过保留局部相似性实现非线性降维。
✅ t-SNE 优势：能清晰分离簇，适合可视化；
❌ 缺点：计算复杂度高（$O(n^2)$）；不能保留全局距离（簇间距离无意义）；对超参（perplexity）敏感。
from sklearn.manifold import TSNE
tsne = TSNE(n_components=2, perplexity=30, random_state=42)
X_tsne = tsne.fit_transform(X)
plt.scatter(X_tsne[:,0], X_tsne[:,1], alpha=0.7)
plt.title("t-SNE Embedding")
plt.show()
UMAP（Uniform Manifold Approximation and Projection）是 t-SNE 的现代替代品：
✅ 实践建议：优先尝试 UMAP 而非 t-SNE。
最简单的密度估计是假设数据服从多元高斯分布：
$$ p(\mathbf{x}) = \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}) $$
参数通过最大似然估计：
$$ \boldsymbol{\mu} = \frac{1}{n} \sum_{i=1}^{n} \mathbf{x}i, \quad \boldsymbol{\Sigma} = \frac{1}{n} \sum{i=1}^{n} (\mathbf{x}_i - \boldsymbol{\mu})(\mathbf{x}_i - \boldsymbol{\mu})^\top $$
但真实数据往往多峰、非高斯，故需混合模型（如 GMM）。
KDE 不假设分布形式，而是用核函数平滑样本点：
$$ \hat{p}(\mathbf{x}) = \frac{1}{n h^d} \sum_{i=1}^{n} K\left( \frac{\mathbf{x} - \mathbf{x}_i}{h} \right) $$
其中：
✅ KDE 优势：灵活、无模型假设；
❌ 缺点：维度灾难（$d > 5$ 时效果差）。
现代方法如 Normalizing Flows、Variational Autoencoders (VAE)、Generative Adversarial Networks (GAN) 可建模复杂高维分布，但超出本章范围。
我们将使用鸢尾花数据集（Iris）演示完整流程。
from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
from sklearn.mixture import GaussianMixture
from sklearn.decomposition import PCA
from sklearn.manifold import TSNE
import seaborn as sns
# 1. 加载数据
iris = datasets.load_iris()
X, y_true = iris.data, iris.target
feature_names = iris.feature_names
# 2. 标准化（对聚类和 PCA 至关重要！）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 3. 聚类（K=3，已知真实类别数）
kmeans = KMeans(n_clusters=3, random_state=42).fit(X_scaled)
gmm = GaussianMixture(n_components=3, random_state=42).fit(X_scaled)
# 4. 降维可视化
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)
tsne = TSNE(n_components=2, perplexity=30, random_state=42)
X_tsne = tsne.fit_transform(X_scaled)
# 5. 绘图对比
fig, axes = plt.subplots(2, 3, figsize=(15, 10))
# 真实标签
axes[0, 0].scatter(X_pca[:, 0], X_pca[:, 1], c=y_true, cmap='tab10')
axes[0, 0].set_title("PCA + True Labels")
axes[1, 0].scatter(X_tsne[:, 0], X_tsne[:, 1], c=y_true, cmap='tab10')
axes[, ].set_title()
axes[, ].scatter(X_pca[:, ], X_pca[:, ], c=kmeans.labels_, cmap=)
axes[, ].set_title()
axes[, ].scatter(X_tsne[:, ], X_tsne[:, ], c=kmeans.labels_, cmap=)
axes[, ].set_title()
axes[, ].scatter(X_pca[:, ], X_pca[:, ], c=gmm.predict(X_scaled), cmap=)
axes[, ].set_title()
axes[, ].scatter(X_tsne[:, ], X_tsne[:, ], c=gmm.predict(X_scaled), cmap=)
axes[, ].set_title()
plt.tight_layout()
plt.show()
sklearn.metrics silhouette_score
(, silhouette_score(X_scaled, kmeans.labels_))
(, silhouette_score(X_scaled, gmm.predict(X_scaled)))
✅ 关键观察：PCA 保留了主要判别方向（前两个主成分解释 95%+ 方差）；t-SNE 更好地分离了 setosa 类；GMM 和 K-Means 在此数据上表现接近（因簇近似球形）。
在监督学习前，用 PCA 或 UMAP 降维可：
from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier
pipe = Pipeline([('pca', PCA(n_components=0.95)), # 保留 95% 方差
('rf', RandomForestClassifier())])
pipe.fit(X_train, y_train)
# GMM 异常检测
gmm = GaussianMixture(n_components=2).fit(X_scaled)
log_probs = gmm.score_samples(X_scaled)
threshold = np.percentile(log_probs, 5) # 下 5% 为异常
anomalies = log_probs < threshold
在深度学习中，自监督学习（Self-Supervised Learning）成为无监督学习的新范式：
这些方法在无标签数据上预训练，再微调（Fine-tune）到下游任务，极大减少对标记数据的依赖。
无监督学习缺乏 ground truth，评估更具挑战性。
仅依赖数据和聚类结果：
✅ 趋势：无监督学习正与深度学习深度融合，成为表示学习（Representation Learning）的核心。
无监督学习教会我们：数据本身蕴含结构，只需合适的透镜去观察。
它不提供确定答案，而是提出假设——'这些样本可能属于同一类'、'数据可能位于这个低维流形上'。
这种探索精神，正是科学发现的本质。
下一篇文章，我们将进入模型评估与验证的领域——那里有偏差 - 方差权衡、交叉验证、A/B 测试，是确保模型可靠落地的关键。
但在那之前，请记住：
真正的洞察，往往始于对数据本身的敬畏与好奇。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online