主成分分析（PCA）原理与实战应用

我们主要使用 scikit-learn 库中的 PCA 工具。除了常规的 PCA 外，它还可以执行 SparsePCA 和 TruncatedSVD。

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# 1. 加载鸢尾花数据集
iris = load_iris()
X = iris.data
y = iris.target
feature_names = iris.feature_names

# 2. 数据标准化 (重要步骤)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 3. 初始化 PCA 模型
# n_components=2 表示降维到 2 维用于可视化
pca = PCA(n_components=2, random_state=42)

# 4. 拟合并转换数据
X_pca = pca.fit_transform(X_scaled)

# 5. 查看解释的方差比例
print(f"解释的方差比例：{pca.explained_variance_ratio_}")
print(f"累计解释方差比例：{np.sum(pca.explained_variance_ratio_)}")

# 6. 转换为 DataFrame 方便查看
pca_df = pd.DataFrame(data=X_pca, columns=['PC1', 'PC2'])
pca_df['target'] = y
print(pca_df.head())

5.2 人脸数据降维可视化

下面使用 sklearn 内置的人脸数据集，直观感受 PCA 在图像压缩和特征提取上的效果。

import matplotlib.pyplot as plt
from sklearn.datasets import fetch_olivetti_faces
from sklearn.decomposition import PCA

# 加载 Olivetti 人脸数据集
faces_data = fetch_olivetti_faces()
X = faces_data.data

# 设置参数
n_components = 50  # 保留 50 个主成分
pca = PCA(n_components=n_components, whiten=True, random_state=42)
X_pca = pca.fit_transform(X)

# 可视化部分原始图像和重构图像
n_images = 4
fig, axes = plt.subplots(2, n_images, figsize=(16, 8))

for i in range(n_images):
    idx = i
    # 原始图像
    axes[0, i].imshow(X[idx].reshape(64, 64), cmap='gray')
    axes[0, i].set_title(f'原始图像 {idx+1}')
    axes[0, i].axis('off')
    
    # 重构图像
    reconstructed = pca.inverse_transform(X_pca[idx])
    axes[1, i].imshow(reconstructed.reshape(64, 64), cmap='bone')
    axes[1, i].set_title(f'PCA 重构 {idx+1}')
    axes[1, i].axis('off')

plt.tight_layout()
plt.show()

通过对比可以看到，即使只保留了 50 个主成分，人脸的基本轮廓和特征依然清晰可见。如果保留更多主成分（如 100 个），图像会更接近原始图片；如果只保留 1 个主成分，则只能看到模糊的平均脸。

5.3 确定最佳主成分数量

在实际应用中，如何选择保留多少个主成分？通常通过观察'解释方差比率'曲线来决定。

# 尝试不同的主成分数量
n_components_range = range(1, 100)
explained_variances = []

for n in n_components_range:
    pca_temp = PCA(n_components=n)
    pca_temp.fit(X_scaled)
    explained_variances.append(np.sum(pca_temp.explained_variance_ratio_))

# 绘制曲线
plt.figure(figsize=(10, 6))
plt.plot(n_components_range, explained_variances, marker='o')
plt.xlabel('Number of Components')
plt.ylabel('Explained Variance Ratio')
plt.title('PCA Explained Variance vs Number of Components')
plt.grid(True)
plt.axhline(y=0.95, color='r', linestyle='--', label='95% Threshold')
plt.legend()
plt.show()

通常我们会选择一个拐点，或者设定一个阈值（如 95%），当累积解释方差达到该阈值时所需的最小主成分数即为最佳选择。

6. 总结

主成分分析（PCA）是机器学习和数据挖掘中不可或缺的工具。它通过线性变换实现降维，有效解决了高维数据带来的'维度灾难'问题。在使用 PCA 时，务必注意数据标准化预处理，并根据具体任务需求合理选择主成分数量。虽然 PCA 存在线性假设的局限，但在许多实际场景中，它依然是提升模型效率和可解释性的首选方案之一。