大语言模型与图结构的融合:推荐系统新兴范式
一、引言
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在自然语言处理领域取得了突破性进展。与此同时,推荐系统作为连接用户与内容的核心枢纽,正面临着从传统协同过滤向语义理解转型的关键节点。传统的推荐系统主要依赖用户行为数据(如点击、购买记录)生成嵌入表示,这种方法虽然有效,但往往忽略了用户和项目背后丰富的文本信息(如商品描述、用户评论、文章标题等)。此外,隐性反馈数据中存在的噪声和偏差也影响了用户偏好学习的准确性。
为了突破这一瓶颈,学术界开始探索将 LLMs 强大的语义理解能力与传统推荐系统中的图结构相结合。本文重点聚焦于两项代表性工作:RLMRec 和 GaCLLM,深入分析它们如何利用 LLMs 来增强文本信息的理解与优化,从而提升推荐系统的整体性能。
二、Representation Learning with Large Language Models for Recommendation (RLMRec)
2.1 背景与挑战
大多数基于图的推荐系统仍然严重依赖于 ID 数据,导致模型难以捕捉项目之间的语义相似性。例如,两个不同 ID 的项目可能在文本描述上高度相似,但在纯 ID 空间中距离很远。RLMRec 框架提出了一种新的推荐范式,旨在将 LLMs 的语义表示能力与传统 ID 推荐系统无缝结合。
2.2 基于推理的画像生成模块
该模块的核心目标是为每个用户和项目生成高质量的文本画像。系统通过设计精细的系统提示词(System Prompt),引导大语言模型在生成过程中展示推理步骤,从而减少'幻觉'现象。
- 项目画像生成:提取项目的标题、原始描述及用户评论。若描述缺失,则随机选取部分高质量评论作为补充输入。
- 用户画像生成:利用用户的历史交互记录,结合已生成的项目画像推断用户偏好。LLMs 根据特定格式的输入,生成包含用户真实偏好表达的自然语言画像。
[图 1:基于推理的画像生成模块示意图]
在此过程中,$T_p$ 和 $T_u$ 分别代表项目和用户的文本信息,$E_p$ 和 $E_u$ 代表对应的画像嵌入。这种机制确保了文本信息被转化为结构化且富含语义的向量表示。
2.3 对比对齐模块
对比对齐模块旨在通过对比学习,将 LLMs 生成的语义表示与协同过滤模型的协同关系表示进行对齐。其核心思想是在不同的视角下学习到一致的用户和项目嵌入。
具体实现上,定义一个相似度函数(通常为余弦相似度)来度量两种嵌入的相似性。通过引入对比损失函数,鼓励正样本对(实际交互的用户和项目)在嵌入空间中更接近,而负样本对(未产生交互的记录)则被拉远。数学上,该过程试图找到满足在先验信念 $z$ 和文本信息条件下联合概率期望最高的协作嵌入。
问题经过推导,转化为最大化互信息度 $I(s, e)$ 的问题。通过寻找互信息度的下限并使之最大化,最终转化为寻找衡量两个不同表征之间相似度的密度比 $f(s, e)$ 的最大值问题。
其中,$s_i$ 为用户/项目 $i$ 的协同嵌入,$e_i$ 为文本嵌入,$\sigma(\cdot)$ 表示映射函数。这一过程有效减弱了噪声干扰,提升了表征质量。
[图 2:对比对齐模块示意图]
2.4 生成对齐模块
生成对齐模块通过单向的重构过程,进一步确保语义和协同关系的一致性。具体流程包括:
- 对部分节点进行掩码操作,屏蔽初始特征。
- 利用协同过滤方法生成嵌入表示。
- 将协同关系表示与语义表示对齐,最大化密度比。
- 对屏蔽节点进行重建。
通过这种机制,模型在协同表示的基础上融入了语义层面的知识,确保了嵌入空间内的用户和项目表示在语义上保持一致性。
[图 3:生成对齐模块示意图]
2.5 实验效果
RLMRec 在 Amazon-book、Yelp、Steam 等多个公开数据集上进行了验证。实验结果表明,相较于其他基线方法,RLMRec 在各项指标上均表现出更优的性能,特别是在处理冷启动和长尾项目时优势明显。
[图 4:不同 Backbone 在多数据集上的表现]
三、Large Language Model with Graph Convolution for Recommendation (GaCLLM)
3.1 背景与动机
传统的推荐技术(如协同过滤或基于内容推荐)在捕捉用户与项目之间的复杂高阶关系时存在局限性。GaCLLM 提出了一种结合 LLMs 和图卷积网络(GCN)的方法,利用 LLMs 生成的语义嵌入增强表达能力,同时通过 GCN 捕捉交互结构。
3.2 基于大语言模型的图卷积推理模块
此模块旨在通过卷积推理辅助 LLM 感知用户 - 项目图结构。卷积模块负责对图结构建模,逐层聚合目标节点及其邻居节点的文本描述,并将聚合信息传递给 LLMs。
关键策略是逐层推理机制:每次仅聚合一阶邻居的文本描述,随着模型层数增加,逐步捕获高阶邻居信息。这不仅提高了计算效率,还使得 LLM 能更有效地利用图结构信息生成优化后的用户描述。
[图 5:GaCLLM 模型图]
[图 6:基于大语言模型的图卷积推理模块]
3.3 基于 GCN 的嵌入对齐模块
该模块将 GCN 生成的目标节点嵌入与文本嵌入进行元素级相加,再经过多层感知机(MLP)捕捉非线性关系。公式上,用户和项目的最终嵌入由变换矩阵和邻居信息共同决定。
为了服务于推荐任务,论文提出了内积匹配方法,计算用户和最终嵌入之间的内积作为推荐评分。这种组合方式有效融合了结构信息和语义信息。
[图 7:基于 GCN 的嵌入对齐模块]
3.4 实验效果
GaCLLM 在 4 个标准数据集上相对于其他方法均取得了较好效果,证明了图结构与 LLM 结合的可行性。
[图 8:实验结果]
四、总结与展望
本文从利用文本信息增强推荐效果的角度出发,详细介绍了 RLMRec 和 GaCLLM 两项最新工作。RLMRec 聚焦于对齐文本描述与协同表示,通过互信息最大化去噪;GaCLLM 则从提高文本质量角度出发,构建图卷积推理模块优化表示。
这些研究表明,LLMs 在未来的推荐系统中拥有巨大潜力。未来的研究和应用可能会进一步提升推荐系统的个性化和智能化,主要方向包括:
- 个性化语义理解:更深层次地挖掘用户意图。
- 跨模态推荐:结合图像、视频等多模态数据。
- 可解释性增强:利用 LLM 生成推荐理由。
尽管面临计算成本和延迟的挑战,但随着模型压缩和推理加速技术的发展,LLM 赋能的推荐系统将成为行业主流趋势。开发者应关注如何平衡语义理解的深度与系统响应的实时性,以构建更加智能的推荐生态。
注:本文内容基于相关学术研究成果整理,旨在技术交流。