
腾讯 RecSys'24:基于行为微调 LLM 初始化物品 Embedding 的高效推荐方法
综述由AI生成探讨了利用预训练语言模型(PLMs)优化序列推荐系统的方法。研究发现,直接利用 PLMs 强大的序列建模能力存在参数冗余,且原始语义信息与用户行为信号存在冲突。腾讯团队提出一种简单高效的方式:使用推荐行为数据预训练微调语言模型,利用其编码得到的物品 Embedding 初始化 ID Embedding,以补充语义信息。实验表明,该方法在随机负采样及全量排序设定下均优于传统 Recformer 模型,且能显著提升 SASRec 等轻量级…



















