TS-RAG 零样本增强
背景
近年来，大型语言模型（LLMs）和基础模型（FMs）被引入时间序列预测任务，但这些模型在零样本预测任务中仍面临域适应和数据分布变化的挑战。本文提出一种基于检索增强生成（RAG）的时间序列预测框架（TS-RAG），通过引入外部知识库和自适应检索混合模块，提升时间序列基础模型（TSFMs）在零样本预测任务中的泛化能力和可解释性。
方案
1、检索知识库
知识库是由 n 对 ${(x_i, e_i, y_i) \mid i = 1, 2, \dots, n}$ 构成的，其中 $x_i$ 是 T 时间窗口长度的历史序列，$y_i$ 是未来长度 L 的值，$e_i$ 是使用预训练好的检索 encoder 对序列 $x_i$ 的嵌入。
- 检索过程：对于目标输入 x 序列，通过检索 encoder 得到嵌入后与检索库中的嵌入进行距离计算，取前 K 个的 ${(x_i, y_i)}$。
- Top-K 选择：实验表明，基本在 8 个以内，MSE 达到稳定。
距离计算：对比了基于嵌入向量计算余弦与欧式距离，和基于原始时序序列的 DTW 距离，实验结果表明基于嵌入的距离公式更好，两者表现差异不大。
2、原理
- 通过前面的知识库已经知道了目标序列通过嵌入，计算与知识库的相似距离，其前 k 个 ${(x_i, y_i)}$ 信息；
- 目标序列通过一个基本时序模型 (如 TimeMoE 等)，得到一个预测输出；
- Top-K 个的 $y_i$ 通过可学习的 MLP 得到与前一步维度一致的输出；
- $e_{final}$ 给到一个输出层得到最终输出。
输入给到 ARM 自适应检索混合模块，其具体步骤如下图所示，(8) 进行多头注意力与残差连接，然后 (9) 是全连接变换与正则化，(10) 计算每维 (K+1) 的权重，最后 (11) 将第 2 步的目标输出与 ARM 的输出进行加和。
Concat 前面两个部分得 $E_{concat}$。
