偏最小二乘回归分析：原理、算法与实现

1. PLS 回归概述与应用场景

偏最小二乘回归（Partial Least Squares Regression, PLS）是一种多变量统计分析方法，适用于两组变量间依赖关系建模的场景。当自变量与因变量均存在多重相关性，且样本量较少时，PLS 能有效克服传统回归方法的局限性，广泛应用于化学、经济学、生物信息学等领域。

PLS vs. PCR vs. MLR

• 多元线性回归（MLR）：直接建立因变量与自变量的线性关系，但要求自变量独立且样本量充足，否则易过拟合。
• 主成分回归（PCR）：通过提取自变量主成分降维，但未考虑因变量信息，可能导致信息损失。
• 偏最小二乘回归（PLS）：同时提取自变量和因变量的成分，并最大化其协方差，兼顾降维与相关性，适合高维小样本数据。

2. PLS 建模步骤详解

2.1 问题定义与数据标准化

设有 $p$ 个因变量 $y_1, y_2, \dots, y_p$ 和 $m$ 个自变量 $x_1, x_2, \dots, x_m$，观测数据已标准化。标准化后的自变量矩阵 $E_0$ 和因变量矩阵 $F_0$ 分别为：

$$ E_0 = \begin{bmatrix} x_{11} & \cdots & x_{1m} \ \vdots & \ddots & \vdots \ x_{n1} & \cdots & x_{nm} \end{bmatrix}, \quad F_0 = \begin{bmatrix} y_{11} & \cdots & y_{1p} \ \vdots & \ddots & \vdots \ y_{n1} & \cdots & y_{np} \end{bmatrix} $$

2.2 成分提取与协方差最大化

第一步：提取第一对成分

• 自变量成分 $t_1$：$t_1 = w_{11}x_1 + w_{12}x_2 + \cdots + w_{1m}x_m = \mathbf{w}_1^T X$
• 因变量成分 $u_1$：$u_1 = v_{11}y_1 + v_{12}y_2 + \cdots + v_{1p}y_p = \mathbf{v}_1^T Y$

目标为最大化 $t_1$ 与 $u_1$ 的协方差，并保证成分携带原变量组的最大变异信息。数学上转化为优化问题：

$$ \begin{cases} \max \mathbf{w}_1^T E_0^T F_0 \mathbf{v}_1 \ \text{s.t. } |\mathbf{w}_1| = 1, |\mathbf{v}_1| = 1 \end{cases} $$

通过求解矩阵 $M = E_0^T F_0 F_0^T E_0$ 的最大特征值对应的特征向量 $\mathbf{w}_1$，并计算 $\mathbf{v}_1 = \frac{1}{\theta_1} F_0^T E_0 \mathbf{w}_1$，得到第一对成分。

第二步：建立回归模型

利用成分 $t_1$，分别对自变量和因变量建立回归模型：

$$ \begin{cases} E_0 = \hat{t}_1 \boldsymbol{\alpha}_1^T + E_1 \ F_0 = \hat{t}_1 \boldsymbol{\beta}_1^T + F_1 \end{cases} $$

其中，回归系数 $\boldsymbol{\alpha}_1$ 和 $\boldsymbol{\beta}_1$ 通过最小二乘估计：

$$ \boldsymbol{\alpha}_1 = \frac{E_0^T \hat{t}_1}{|\hat{t}_1|^2}, \quad \boldsymbol{\beta}_1 = \frac{F_0^T \hat{t}_1}{|\hat{t}_1|^2} $$

第三步：残差迭代

用残差矩阵 $E_1$ 和 $F_1$ 代替原矩阵，重复上述步骤提取后续成分 $t_2, t_3, \dots, t_r$，直到满足精度要求。

3. 交叉有效性检验

PLS 需确定提取的成分个数 $l$，以避免过拟合。通过交叉验证计算预测误差平方和（PRESS）与误差平方和（SS）：

• PRESS：剔除第 $i$ 个样本后建模的预测误差平方和。
• SS：全样本建模的误差平方和。

定义交叉有效性指标 $Q_h^2 = 1 - \frac{\text{PRESS}(h)}{\text{SS}(h-1)}$，若 $Q_h^2 < 0.0975$，则停止提取成分。

4. 简洁算法：无需因变量成分提取

传统 PLS 需同时提取自变量和因变量成分，而简洁算法仅需在自变量残差矩阵中迭代提取成分，简化计算：

1. 计算 $E_0^T F_0 F_0^T E_0$ 的最大特征向量 $\mathbf{w}_1$，得到 $t_1 = E_0 \mathbf{w}_1$。
2. 更新残差矩阵 $E_1 = E_0 - t_1 \boldsymbol{\alpha}_1^T$。
3. 重复步骤，提取后续成分 $t_2, \dots, t_r$。

最终回归方程为：

$$ Y = t_1 \boldsymbol{\beta}_1 + t_2 \boldsymbol{\beta}_2 + \cdots + t_r \boldsymbol{\beta}_r $$

将成分 $t_i$ 还原为原始自变量，即得 PLS 回归方程。

5. 关键公式总结

1. 成分得分向量： $$ \hat{t}h = E{h-1} \mathbf{w}h, \quad \mathbf{w}h = \arg \max \mathbf{w}^T E{h-1}^T F_0 F_0^T E{h-1} \mathbf{w} $$
2. 回归系数： $$ \boldsymbol{\beta}_h = \frac{F_0^T \hat{t}_h}{|\hat{t}_h|^2} $$
3. 交叉有效性条件： $$ Q_h^2 \ge 0.0975 \Rightarrow \text{继续提取成分；否则终止。} $$

6. 结语

PLS 通过成分提取与协方差最大化，巧妙解决了高维数据中的多重共线性和小样本问题。结合交叉验证，可灵活控制模型复杂度，是数据分析中的强有力工具。实际应用中需注意数据标准化、成分数选择及结果的可解释性优化。