基于 Transformer 的时间序列长期预测实战
一、引言
Transformer 模型最初是为自然语言处理（NLP）任务设计的，但其独特的架构使其在时间序列分析领域展现出巨大潜力。传统的循环神经网络（RNN）和长短期记忆网络（LSTM）在处理长序列时存在计算效率低和梯度消失问题，而 Transformer 通过自注意力机制（Self-Attention）能够并行处理序列数据，有效捕捉时间序列中的长期依赖关系。
本文详细介绍如何利用 Transformer 架构实现时间序列的长期预测，涵盖模型原理、参数配置、训练流程、滚动预测策略以及结果可视化。代码基于 PyTorch 框架编写，适用于多元或单变量时间序列场景。
二、Transformer 核心原理
1. 自注意力机制
自注意力机制允许模型在处理当前时间步时关注序列中的所有其他位置，无论距离远近。这解决了传统方法难以捕捉长距离依赖的问题。
$$ Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V $$
其中 $Q$（Query）、$K$（Key）、$V$（Value）分别代表查询向量、键向量和值向量，$d_k$ 是缩放因子。
2. 多头注意力（Multi-Head Attention）
通过将输入投影到多个子空间进行并行注意力计算，模型可以捕获不同层面的特征信息。最后将各头的输出拼接并通过线性层映射。
3. 位置编码（Positional Encoding）
由于 Transformer 没有递归结构，无法感知序列顺序，因此引入位置编码来注入时间步信息。通常使用正弦和余弦函数生成固定编码，或通过可学习的嵌入向量获取。
4. 编码器 - 解码器架构
- 编码器：接收历史输入序列，提取特征表示。
- 解码器：结合编码器输出和已生成的预测序列，逐步生成未来时间点。
三、数据集与预处理
1. 数据格式
常用数据集如 ETTh1（电力负荷数据），包含多变量指标。支持以下任务类型：
- M (Multivariate): 多变量预测多变量。
- S (Univariate): 单变量预测单变量。
- MS: 多变量预测单变量。
2. 滑动窗口
采用滑动窗口技术构建样本。例如，输入序列长度（seq_len）为 96，预测长度（pred_len）为 24。每个样本由过去 96 个时间点和未来 24 个点组成。
3. 归一化与 RevIN
为了提升训练稳定性，通常对数据进行归一化处理。RevIN（Reversible Instance Normalization）是一种特殊的归一化方法，它在编码前标准化输入，并在解码后还原数值，有助于保持数据的统计特性。
# 示例：简单的归一化逻辑
from torch import nn
class RevIN(nn.Module):
def __init__(self, num_features: int, eps=1e-5, affine=True):
super().__init__()
self.num_features = num_features
.eps = eps
.affine = affine
.affine:
._init_params()
():
mode == :
._get_statistics(x)
x = ._normalize(x)
mode == :
x = ._denormalize(x)
:
NotImplementedError
x
