探讨了利用预训练语言模型（PLMs）优化序列推荐系统的方法。研究发现，直接利用 PLMs 强大的序列建模能力存在参数冗余，且原始语义信息与用户行为信号存在冲突。腾讯团队提出一种简单高效的方式：使用推荐行为数据预训练微调语言模型，利用其编码得到的物品 Embedding 初始化 ID Embedding，以补充语义信息。实验表明，该方法在随机负采样及全量排序设定下均优于传统 Recformer 模型，且能显著提升 SASRec 等轻量级 Backbone 的性能。此外，少量行为数据预训练即可带来显著收益，证明了该方法的泛化性与实用性。
近年来，随着预训练语言模型（PLMs）的突破性发展，学术界和工业界开始广泛探索它们在序列推荐场景中的应用。目前，主流的应用方式主要有两种：
然而，由于自然语言建模与用户行为建模之间存在巨大差异，这些方法在冷启动场景中表现较好，但当物品拥有足够的交互数据时，效果往往欠佳。这是因为用户行为的协同信号对于推荐至关重要，而纯文本语义可能无法完全捕捉这种隐式关联。尽管已有部分研究尝试将用户行为协同信号引入到 LLM 中，但仍遗留两个核心问题：
本文基于腾讯在 RecSys'24 发表的研究，深入分析了基于 PLMs 的序列推荐模型的机制，并提出了一种简单高效的改进方案。
为了探究基于 PLMs 的序列推荐模型的具体机制，作者选择了代表性模型 Recformer 作为观察对象。
Recformer 是基于 PLM 的序列推荐模型，其整体框架采用类似于 Longformer 的双向 Transformer 结构，但具有不同的 Embedding 层以适应序列推荐任务。它对物品和用户历史行为序列文本进行编码，得到对应的物品表征以进行推荐。
Recformer 的训练过程包含三个阶段：
两阶段微调的流程可以简单理解为：在第 1 阶段获得物品最优表征 Embedding，第 2 阶段获得最佳序列建模模型。
为了探究 PLMs 在序列推荐任务中的具体运行机制，作者对完成第 2 阶段微调后的 Recformer 的注意力分布进行了可视化分析。基于 Instruments 和 Pantry 数据集，绘制了 Recformer（及其 Backbone 模型 Longformer 作为对比）在 [CLS] token 的注意力分布图。
分析发现以下四点关键现象：
这些现象在不同实例和数据集中都广泛存在。Recformer 与其骨干 Longformer 完全不同，但在一定程度上类似于传统的基于物品 ID 的序列推荐模型。这说明原始的语言模型并不直接具有良好的处理用户行为序列的能力，需要使用用户行为数据做微调。此外，这些现象也意味着当前使用 PLMs 进行行为序列建模存在不足和参数冗余。
相比于 PLMs，传统的基于物品 ID 的序列推荐模型通常结构简单，层数头数较少（例如，SASRec 采用 2 层和 1 个头），而 Longformer 有 12 层和 12 个头。为了进一步验证模型参数冗余现象，作者冻结了 Recformer 中的大部分参数，仅训练微调某些特定的层。
实验结果表明，仅微调 Recformer 中特定的几层（如 3、7、11 层）即可达到甚至超过全量微调的效果。这再次说明基于 PLMs 的序列推荐模型存在功能分层和参数冗余现象。为此，作者认为很有必要简化基于 PLMs 的序列建模方式。
基于前面的数据分析和观察，作者考虑保留 Recformer 编码得到的物品 Embedding，并将其序列建模模型替换为结构相对简单的基于物品 ID 的序列推荐模型（如 SASRec 或 BERT4Rec 模型）作为 Backbone。
在实验过程中，作者使用了 3 种版本的 Recformer 编码物品 Embedding：
作者提出了 3 种简化序列推荐建模的方式：
实验结果（以 SASRec 作为 Backbone）显示：
前面实验是在随机负采样设定下进行的，为了进一步验证基于行为微调后的 PLMs 初始化物品 Embedding 方法的泛化性，作者在全量排序的设定下也进行了相关的实验。
结果显示：
为了进一步探索所提基于行为微调的 PLM 初始化物品 Embed 方法对序列推荐的有效性和鲁棒性，作者对物品初始化做了两种变体：
结果表明：
基于行为微调的 PLMs 编码得到的物品 Embed 的行为信息还是比较匮乏。由于物品文本和行为表征之间的巨大冲突，用 PLM 表示物品的更优策略是，不要强行与文本耦合，而是使用行为微调的 PLMs 进行物品 Embed 的初始化。也就是说，序列推荐场景中，物品表征应该更注重行为信息，这些相关的语义信息可以作为重要的补充。
这里，作者探索预训练数据集的大小对基于行为微调 PLMs 初始化物品 Embed 方法的影响。作者随机采样了比例不等（从 0.01% 至 50%）的数据集分别预训练了 PLMs。
结果表明，即使是最小规模（几千用户）的基于行为的预训练，也可以带来大幅度的提升。这进一步验证了所提方法的效果提升主要归因于行为感知的 PLMs，而不是原始的 PLMs。同时，这也表明，对于新的序列推荐场景，少量基于行为的预训练可能足以将语言模型有效迁移到序列推荐任务中，说明了所提方法的实用性和有效性。
本研究通过分析 Recformer 的注意力机制和参数冗余性，提出了一种利用行为微调后的 LLM 初始化物品 Embedding 的简单高效方式。核心结论如下：
未来工作可进一步探索如何在多模态场景下结合视觉、文本和行为信号，以及如何在资源受限的边缘设备上部署此类轻量级模型。该研究为工业界落地大模型推荐系统提供了重要的理论依据和实践路径。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
