【时序论文阅读】TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero

优质文章学习记录

09 Apr 2026 — 3 min read

TS-RAG 零样本增强

背景
方案
- 1、检索知识库
- 2、原理

背景

近年来，大型语言模型（LLMs）和基础模型（FMs）被引入时间序列预测任务，但这些模型在零样本预测任务中仍面临域适应和数据分布变化的挑战。
本文提出一种基于检索增强生成（RAG）的时间序列预测框架（TS-RAG），通过引入外部知识库和自适应检索混合模块，提升时间序列基础模型（TSFMs）在零样本预测任务中的泛化能力和可解释性。

方案

1、检索知识库

知识库是由n对 { ( x i , e i , y i ) , ∣ i = 1 , 2 , … … , n } \{(x_i,e_i,y_i),|i=1,2,……,n\} {(xi,ei,yi),∣i=1,2,……,n}构成的,其中 x i x_i xi是T时间窗口长度的历史序列, y i y_i yi是未来长度L的值, e i e_i ei是使用预训练好的检索encoder对序列 x i x_i xi的嵌入.

检索过程:对于目标输入x序列,通过检索encoder得到嵌入后与检索库中的嵌入进行距离计算,取前K个的 { ( x i , y i ) ) } \{(x_i,y_i))\} {(xi,yi))}
topk : 其实验如下图所示,基本在8个以内,mse达到稳定.

距离计算:对比了基于嵌入向量计算余弦与欧式距离,和基于原始时序序列的DTW距离,实验结果表明基于嵌入的距离公式更好,两者表现差异不大.

2、原理

通过前面的知识库已经知道了目标序列通过嵌入,计算与知识库的相似距离,其前k个 { ( x i , y i ) ) } \{(x_i,y_i))\} {(xi,yi))}信息;
目标序列通过一个基本时序模型(如TimeMoE等),得到一个预测输出;
topk 个的 y i y_i yi通过可学习的mlp得到与前一步维度一致的输出;
e f i n a l e_{final} efinal给到一个输出层得到最终输出.

输入给到ARM 自适应检索混合模块,其具体步骤如下图所示,(8)进行多头注意力与残差连接,然后(9)是全连接变换与正则化,(10)计算每维(K+1)的权重,最后(11)将第2步的目标输出与ARM的输出进行加和.