MIT 与 IBM 联合提出 Inter-Series Transformer 用于供应链需求预测

Inter-Series Transformer 模型通过引入一系列创新组件，旨在解决供应链需求预测中的特定挑战，如稀疏性和跨系列效应。

架构设计

Inter-Series Transformer 的编码器和解码器结构类似于传统的 Transformer 模型。编码器由多个自注意力层和逐位置前馈网络层组成，每个层后面都有残差连接和层归一化，以提高训练的稳定性。编码器的自注意力组件负责计算输入序列中所有元素之间的注意力权重，并基于这些注意力权重对元素进行转换。解码器的架构与编码器相似，但在每个编码器块的两个子层之外，解码器还增加了一个多头注意力子层，该子层对编码器堆栈的输出进行多头注意力计算，从而生成最终的预测。

系列间注意力层

系列间注意力层是 Inter-Series Transformer 模型的核心创新之一。该层通过学习不同产品时间序列之间的动态关系，改进目标时间序列的表示。具体来说，系列间注意力层将目标时间序列的上下文窗口作为查询向量，所有其他时间序列的上下文窗口作为键和值向量，从而生成一个更好地表示目标时间序列的上下文窗口。这种方法不仅能够捕捉跨产品的交互，还能帮助解决稀疏性问题，使稀疏的时间序列能够从高体量的时间序列中学习，从而改进预测。

在系列间注意力层之后，Inter-Series Transformer 模型应用一个共享的 Transformer 网络，对目标序列进行转换，捕捉时间效应并生成预测。该网络对所有时间序列共享，即所有时间序列使用相同的网络参数进行训练。这种多任务应用方法能够利用更多的数据进行训练，避免多变量建模中常见的过拟合问题，同时提高模型的性能。

特征处理

在时间序列预测中，输入特征可能包含离散和连续的数值。为了优化学习，Inter-Series Transformer 模型将这些特征映射到高维表示。对于连续特征，使用线性层学习最佳映射方式；对于分类特征，使用嵌入层创建特征向量。最终，这些特征向量和投影的连续输入在传递给 Transformer 模型之前进行拼接，从而创建一个更全面和信息丰富的输入。

在自然语言处理应用中，位置编码用于为序列中的每个元素分配相对位置。然而，在时间序列预测中，我们有实际的时间特征，因此可以通过日期特征来捕捉相对位置。实验表明，移除位置编码并依赖日期特征能够提高模型性能。具体做法是将日期映射为两个连续特征：年龄（年）和月份，并进行适当缩放。这种方法不仅简化了模型，还提高了训练的稳定性和预测的准确性。

通过这些创新组件，Inter-Series Transformer 模型在处理供应链需求预测中的稀疏性和跨系列效应方面表现出色，显著提高了预测的准确性和稳定性。

实验设置

数据集

为了评估 Inter-Series Transformer 模型的性能，研究团队使用了一个私有数据集和两个公开的零售数据集。

1. 私有数据集：该数据集由一家医疗设备制造公司提供，包含两种类型的产品。第一种类型的数据集包括 65 个时间序列，展示了总体上升的趋势；第二种类型的数据集包括 50 个时间序列，展示了总体下降的趋势。每个时间序列对应于特定产品在特定分销中心的销售数据，频率为每月，预测窗口为 4-24 个月。
2. Walmart Stores Sales：该数据集由 Walmart 提供，用于 Kaggle 比赛，包含 45 个 Walmart 商店中 98 个部门的销售时间序列，总计 4,410 个时间序列，频率为每周，预测窗口为 39 周。
3. Walmart M5：该数据集同样由 Walmart 提供，包含 3,049 种产品在不同商店的销售数据，并包括基于产品类别和部门以及商店所在州的聚合时间序列，总计 44,280 个时间序列，频率为每日，预测窗口为 28 天。

训练过程

为了最大化 Inter-Series Transformer 模型的性能，研究团队对多个关键参数进行了超参数调优，包括编码器/解码器层数、模型维度、嵌入维度、批量大小和训练周期数。

• 超参数调优：通过在验证数据上进行多次实验，确定最佳的超参数组合。最终确定的最佳超参数为：2 个编码器/解码器层、128 模型维度、6 嵌入维度、64 批量大小和 1000 训练周期。
• 学习率调度：使用 Adam 优化器，初始学习率为 0.0015，并在学习率停滞时减少 5%。这种学习率调度方法在初步研究中表现良好，因此被用于最终的训练设置。

此外，研究团队还对所有用于比较的神经网络方法进行了类似的超参数调优，以确保结果的一致性和可靠性。

评估指标

为了全面评估模型的性能，研究团队使用了多种评估指标，包括加权平均绝对误差（wMAPE）、均方根误差（RMSE）和均方根缩放误差（RMSSE）。

• wMAPE（加权平均绝对误差）：用于衡量预测值与实际值之间的绝对误差。
• RMSE（均方根误差）：用于衡量预测值与实际值之间的平方误差。
• RMSSE（均方根缩放误差）：用于衡量预测值与实际值之间的缩放误差，特别适用于具有较大变异性和稀疏性的时间序列。

通过这些评估指标，研究团队能够全面衡量 Inter-Series Transformer 模型在不同数据集和预测范围内的性能。

实验结果与分析

传统模型的结果

在实验中，研究团队首先分析了几种传统时间序列预测模型的表现，包括 Holt-Winters、ARIMA 和简单指数平滑（SES）模型。这些模型分别针对每个时间序列进行拟合，结果如下：

• Holt-Winters 模型：尽管能够捕捉趋势和季节性，但在处理复杂的供应链需求预测时，表现不尽如人意。
• ARIMA 模型：虽然理论上强大，但在实际应用中，特别是在处理稀疏和高维数据时，效果有限。
• 简单指数平滑（SES）模型：在短期预测中表现尚可，但在中长期预测中，准确性显著下降。

总体而言，这些传统方法未能达到预期的准确度，尤其是在处理稀疏性和跨系列效应时表现不佳。

神经网络模型的结果

接下来，研究团队实验了几种基于神经网络的时间序列预测模型，包括 DeepAR、GluonTS Transformer 和 TFT。这些模型在处理复杂时间序列数据时展示了更大的潜力。

• DeepAR：基于自回归 RNN 的概率预测方法，能够学习季节性行为和协变量依赖关系，在短期和中期预测中表现良好。
• GluonTS Transformer：作为基础 Transformer 模型，虽然在短期和中期预测中未能超越 Inter-Series Transformer，但在长期预测中表现较好。
• TFT（Temporal Fusion Transformer）：结合变量选择网络和静态协变量编码器，特别适用于捕捉长时间依赖关系，在 13-24 个月的长期预测中表现最佳。

尽管这些神经网络模型在某些方面表现出色，但在处理供应链需求预测中特有的稀疏性和跨系列效应时，仍存在一定的局限性。

最新模型的结果

研究团队还实验了几种最新的时间序列预测模型，包括 FEDformer、DLinear 和 PatchTST。

• FEDformer：是频率增强型 Transformer，尽管设计用于长时间序列预测，但在所有预测范围内均未能超越基线。
• DLinear：在长期预测中表现略优于 FEDformer，但整体表现仍不如 Inter-Series Transformer。
• PatchTST：在长期预测中表现较好，但在短期和中期预测中被 Inter-Series Transformer 超越。

这些结果表明，尽管这些最新模型在某些方面具有优势，但在处理供应链需求预测的特定挑战时，仍存在一定的不足。

Inter-Series Transformer 的表现

Inter-Series Transformer 模型在所有实验数据集上均表现出色，特别是在处理稀疏性和跨系列效应方面，显著提高了预测的准确性。

• 私有数据集：在短期（1-3 个月）和中期（4-12 个月）预测中，Inter-Series Transformer 显著优于传统模型和神经网络模型。在长期（13-24 个月）预测中，尽管 TFT 表现最佳，但 Inter-Series Transformer 仍表现出色。
• Walmart Stores Sales 数据集：在这个较小且更聚合的数据集上，Inter-Series Transformer 表现接近最佳（PatchTST），展示了其在不同数据集上的适应性。
• Walmart M5 数据集：在这个更大且更细粒度的数据集上，Inter-Series Transformer 表现最佳，进一步验证了其在处理复杂时间序列数据方面的优势。

总体而言，Inter-Series Transformer 模型通过引入系列间注意力层和多任务每系列转换等创新组件，在供应链需求预测中展示了显著的性能提升，证明了其在处理稀疏性和跨系列效应方面的有效性。

进一步分析与消融研究

时间序列交叉验证：模型鲁棒性的验证

为了验证 Inter-Series Transformer 模型的鲁棒性，研究团队采用了时间序列交叉验证技术。这种方法通过在不同的时间段内训练和评估模型，确保模型不仅在特定的评估期内表现良好，还能在不同的时间段内保持稳定的性能。

• 训练和评估：对于每个评估期，分别在该期之前的历史数据上训练模型，并在评估期内进行评估。
• 滑动窗口方法：使用滑动窗口方法，将训练数据限制在一定的时间范围内，确保模型能够平衡不同时间段的数据量。

结果表明，Inter-Series Transformer 模型在不同时间段内均能显著优于基线预测，证明了其鲁棒性和稳定性。

高维表示投影实验：不同特征投影方法的比较

在时间序列预测中，处理不同类型的特征（如离散和连续特征）是一个重要的挑战。研究团队实验了多种特征投影方法，以优化模型的学习效果。

• 连续特征的线性投影：使用线性层将低维的连续特征映射到高维表示，学习最佳的映射方式。
• 分类特征的嵌入层：使用嵌入层创建分类特征的高维表示。
• 联合嵌入和独立嵌入：实验了将两个 ID 特征（位置和产品 ID）联合嵌入和独立嵌入的方法。

结果表明，独立嵌入两个 ID 特征的方法效果最佳，因为这种方法能够分别优化每个嵌入，从而提高模型的性能。

位置编码实验：位置编码与连续时间特征的比较

在时间序列预测中，位置编码用于为序列中的每个元素分配相对位置。然而，研究团队发现，位置编码可能会改变初始输入，影响模型的稳定性和关系学习能力。因此团队实验了以下两种方法：

• 添加位置编码：将重要的日期信息作为输入特征，并强制使用位置编码。
• 移除位置编码：依赖日期特征来捕捉相对位置，将日期映射为两个连续特征：年龄（年）和月份。

实验结果表明，移除位置编码并使用连续时间特征的方法效果最佳。位置编码未能提供额外信息，反而增加了训练复杂性。因此，研究团队建议在时间序列预测中移除位置编码，改用日期特征。

通过这些进一步的分析与消融研究，研究团队验证了 Inter-Series Transformer 模型的鲁棒性，并优化了特征投影和位置编码的方法，从而进一步提高了模型的性能和稳定性。

结论与未来工作

Inter-Series Transformer 模型通过引入一系列创新组件，显著提升了供应链需求预测的准确性和稳定性。

通过系列间注意力层，模型能够利用高体量时间序列的信息来改进稀疏时间序列的预测。这种方法有效地解决了供应链需求预测中常见的稀疏性问题。系列间注意力层能够捕捉不同产品时间序列之间的动态关系，从而改进目标时间序列的表示。这对于处理供应链中不同产品之间的相互影响尤为重要。

共享的 Transformer 网络能够利用更多的数据进行训练，避免多变量建模中常见的过拟合问题，同时提高模型的性能。通过将不同类型的特征映射到高维表示，模型能够更全面地利用输入特征的信息，从而提高预测的准确性。

实验表明，移除位置编码并使用连续时间特征能够提高模型性能，简化模型结构，提高训练稳定性。总体而言，Inter-Series Transformer 模型在处理供应链需求预测中特有的挑战时，展示了显著的性能提升，证明了其在实际应用中的潜力。

尽管 Inter-Series Transformer 模型在供应链需求预测中表现出色，但仍有一些潜在的改进方向可以进一步提升其性能。

未来的研究可以探索将系列间注意力机制扩展到其他时间序列数据的特征上，而不仅仅是目标时间序列。这将允许更全面地分析不同特征之间的关系，可能会带来更准确的预测结果。

研究可以进一步探讨增加 Inter-Series Transformer 模型的深度，通过添加多个系列间注意力层来捕捉更复杂的非线性转换。这可能会进一步提高模型的预测性能，特别是在处理更复杂的时间序列数据时。

虽然本研究主要集中在供应链需求预测上，但未来可以将 Inter-Series Transformer 模型应用于其他领域，如金融预测、天气预报等，以验证其在不同应用场景中的有效性。这些研究方向为进一步改进和扩展 Inter-Series Transformer 模型提供了有趣的机会，有望在时间序列预测领域带来更多的突破和创新。

参考资料：https://arxiv.org/pdf/2408.03872