K-RagRec 框架，一种利用知识图谱检索增强生成（RAG）来提升大语言模型（LLM）推荐性能的方法。针对 LLM 存在的幻觉、知识过时及缺乏领域知识问题，K-RagRec 通过构建跳域知识子图索引、流行度选择性检索策略、知识子图重排序以及 GNN 编码投影器，实现了高效的结构化知识利用。实验表明，该方法在多个数据集上显著优于基线模型，有效降低了推理时间并提升了推荐准确率。
推荐系统在我们的日常生活中变得越来越重要，有助于缓解各类面向用户的在线服务中的信息过载问题。大语言模型（LLMs）的出现取得了显著成就，展现出其推动下一代推荐系统发展的潜力。尽管取得了这些进展，基于大语言模型的推荐系统仍面临源于其模型架构的固有局限性，尤其是幻觉问题（生成虚假信息）以及缺乏最新知识和领域特定知识的问题。近年来，检索增强生成（RAG）技术受到了广泛关注，它通过利用外部知识源来增强大语言模型的理解和生成能力，从而解决这些局限性。然而，传统的 RAG 方法往往会引入噪声，并且忽略了知识中的结构化关系，这限制了它们在基于大语言模型推荐系统中的效果。为了解决这些问题，我们提出从知识图谱中检索高质量、最新的结构化信息，以增强推荐效果。具体而言，我们设计了一个检索增强框架，名为 K-RagRec，该框架通过整合外部知识图谱的结构化信息，助力推荐生成过程。我们进行了大量实验，验证了所提方法的有效性。
推荐系统作为一种旨在帮助人们在日常生活中做决策的技术，在各个领域的影响力日益增强（Kenthapadi 等人，2017; He 等人，2020; Fan 等人，2019），例如在线购物、工作匹配和社交媒体。近年来，大语言模型（LLMs）取得了重大突破，进一步推动了各个领域的发展（Fan 等人，2024b; Zhao 等人，2024; Wu 等人，2023a）。特别是随着大语言模型的成功，推荐系统迎来了快速发展（Geng 等人，2022; Bao 等人，2023; Qu 等人，2024）。通过在海量数据上训练，大语言模型（例如 GPT-4（Achiam 等人，2023）和 LLaMA（Touvron 等人，2023））能够获取广泛的知识，并展现出卓越的语言理解能力。这种能力使基于大语言模型的推荐系统能够通过细致理解相关属性（例如用户画像、物品描述、历史交互记录）来捕捉用户偏好，从而实现更准确的推荐。因此，基于大语言模型的推荐系统已成为推荐技术的一种新范式（Zhao 等人，2024）。
然而，尽管基于大语言模型的推荐系统具有强大的语言理解和泛化能力，它们仍面临重大挑战，包括幻觉问题以及缺乏最新知识和领域特定知识（Luo 等人，2023）。具体而言，一个关键问题是，由于大语言模型的固有局限性，基于大语言模型的推荐系统可能会生成完全虚构的推荐结果。例如，如图 1（a）所示，一个基于大语言模型的推荐系统可能会向看过《教父》（The Godfather）的用户推荐一部不存在的电影《Godmother》。此外，大语言模型通常缺乏最新知识，这使其无法及时推荐最新的电影或产品。如图 1（b）所示，由于训练数据仅更新到 2022 年 12 月，基于大语言模型的推荐系统无法推荐 2022 年 12 月之后的新电影。再者，大语言模型往往缺乏领域特定知识，因为在大语言模型的训练阶段，面向推荐任务的语料库非常有限（Geng 等人，2022）。因此，大语言模型可能难以满足推荐任务的细致需求。为了缓解这些问题，一个潜在的解决方案是用最新的和领域特定的知识频繁微调大语言模型。然而，大语言模型的海量参数使得这一过程计算成本高昂且耗时，严重阻碍了其在现实世界中的实际应用。
最近，利用外部数据库提供特定知识的检索增强生成（RAG）技术展现出解决这些问题的潜力（Fan 等人，2024a; Gao 等人，2023）。通过整合外部知识库，RAG 能够检索相关且最新的信息，以补充大语言模型的固有知识，从而缓解幻觉问题和知识缺口（Khandelwal 等人，2019; Min 等人，2020; Li 等人，2024）。这使得 RAG 成为一种很有前景的技术，能够让大语言模型在无需昂贵微调的情况下提供有效的推荐（Ram 等人，2023）。
尽管具有这种潜力，但依赖文档和段落的传统 RAG 方法往往会引入不必要的噪声，甚至有害干扰，这会对推荐的准确性和可靠性产生负面影响（He 等人，2024）。此外，典型的 RAG 方法忽略了实体之间的结构化关系，导致基于大语言模型的推荐系统的推理能力不够理想（Luo 等人，2023）。为了解决这些局限性，一个可行的方案是整合结构化知识（例如物品的知识图谱）来帮助提升推荐性能。具体而言，知识图谱提供了结构化、事实性和可编辑的知识表示，能够为推荐提供可靠的知识来源。如图 1（c）所示，从知识图谱中检索结构化知识可以显著增强基于大语言模型的推荐系统的推荐能力。
然而，有效地检索知识图谱以增强大语言模型的推荐能力面临着挑战。首先，知识图谱以结构化格式存储丰富的事实知识。简单检索实体（即物品）的三元组或一阶邻居（直接关联的实体）并结合语义信息，会忽略实体/物品之间更高阶的邻域效应（比如 A 关联 B，B 关联 C，A 和 C 的间接关联），导致推荐性能不佳。其次，无论检索是否必要或内容是否相关，都对每个物品进行无差别检索，会降低推荐性能，同时严重降低模型的效率（Asai 等人，2023; Labruna 等人，2024）。此外，知识图谱中的结构化数据通常以序列化文本的形式编码给大语言模型（Wu 等人，2023b; Sun 等人，2023），这不足以充分利用数据中固有的结构化信息（Perozzi 等人，2024; Fatemi 等人，2023）。因此，探索更有效、更具表达力的结构化数据表示方式至关重要，使大语言模型能够有效利用检索到的知识子图的结构信息进行推荐。
为了解决上述挑战，在本文中，我们提出了一个知识检索增强推荐框架，名为 K-RagRec，旨在通过从物品知识图谱中检索相关知识，为大语言模型时代的推荐生成提供最新、可靠的知识。具体而言，我们提出的框架首先在物品知识图谱上进行粗粒度和细粒度的知识子图索引，构建知识向量数据库。接下来，设计了一种 popularity 选择性检索策略，以确定哪些物品需要被检索，然后从知识向量数据库中检索特定的子图。为了提升检索质量并确保最相关的结果排在输入的前面，我们随后对检索到的知识子图进行重排序。最后，我们引入了一个图神经网络（GNN）和投影器（projector），将检索到的知识子图对齐到大语言模型的语义空间，以实现知识增强推荐。本文的主要贡献如下：
索引不是向量，是'找子图的目录系统'：向量是子图的'标签'，索引是'贴标签 + 建目录 + 快速定位'的整套系统。
代码中的'索引'本质是知识图谱节点/边的嵌入向量，用于后续快速检索相关子图。这些索引通过预处理步骤生成并存储为
.pt文件。简单说：
0.pt是初始索引，layer2/layer3是经 GCN 增强后的深层索引，共同用于快速定位相关节点。
'粗细粒度'体现在检索阶段提取的子图范围上，对应
retrieve.py中GraphRetrieval类的子图提取方法：细粒度子图：get_first_order_subgraph(node)。只包含目标节点及其直接邻居（一阶邻居），边也仅保留目标节点与直接邻居的连接。粗粒度子图：get_second_order_subgraph(node)。包含目标节点、一阶邻居，以及一阶邻居的邻居（二阶邻居），边包括目标节点与一阶邻居、一阶邻居与二阶邻居的连接。一阶子图（细粒度）仅包含直接邻居，二阶子图（粗粒度）包含扩展到二阶的邻居，用于平衡检索的精度和覆盖度。
知识向量数据库：对应
index_KG.py生成的0.pt、layer2_embeddings_W.pt、layer3_embeddings_W.pt，存储节点和边的向量表示。细粒度子图索引：对应retrieve.py的get_first_order_subgraph，提取目标节点 + 直接邻居的子图，基于向量数据库实现快速检索。粗粒度子图索引：对应retrieve.py的get_second_order_subgraph，提取目标节点 + 直接邻居 + 二阶邻居的子图，同样依赖向量数据库进行检索。
近年来，RAG 已成为生成式人工智能领域最具代表性的技术之一，它结合了检索系统和语言模型（LM）的优势，生成连贯且信息丰富的文本。早期方法，如 REALM（Guu 等人，2020）、RETRO（Borgeaud 等人，2022）和 DPR（Karpukhin 等人，2020），通常从大规模语料库中检索相关片段，以指导语言模型生成。然而，标准的 RAG 方法往往难以准确检索所有相关文本块，因为文档中存在不必要的噪声甚至有害干扰。为了解决这些局限性，最近的研究（Baek 等人，2023; Wu 等人，2023b; He 等人，2024; Luo 等人，2023; Wang 等人，2023; Sen 等人，2023; Sun 等人，2023）专注于从图中检索结构化且可靠的知识，以增强生成效果。例如，Retrieve-Rewrite-Answer（Wu 等人，2023b）从知识图谱中检索相关子图，并将检索到的子图转换为文本用于生成。G-Retriever（He 等人，2024）探索从各种类型的图中检索子图，以缓解大语言模型的幻觉问题。
随着大语言模型在推荐领域的爆发式发展，已有部分研究（Di Palma, 2023; Wu 等人，2024; Ang 等人，2024）对 RAG 在推荐中的应用进行了初步探索。例如，Di Palma（2023）的研究提出利用电影或书籍数据集的知识来增强推荐。然而，从知识图谱中检索可靠的结构化知识以用于推荐的研究仍未得到充分探索，且具有巨大潜力。
为了填补这一空白，我们提出从知识图谱中检索知识子图，以增强大语言模型的推荐性能。更多相关工作详见附录 A.3。
***知识图谱：**在本文中，我们提出利用外部知识数据库（即知识图谱）来增强大语言模型的推荐能力。知识图谱包含大量以三元组形式存在的事实知识：(G={(n, e, n') | n, n' ∈ N, e ∈ E}），其中 N 和 E 分别表示实体集和关系集。例如，三元组（《星际穿越》，由... 执导，诺兰）表示电影《星际穿越》由导演诺兰执导。
**基于大语言模型的推荐：**设(U={u_{1}, u_{2}, ..., u_{n}})和(V={v_{1}, v_{2}, ..., v_{m}})分别表示用户集和物品集，其中 n 和 m 分别是用户和物品的数量。基于大语言模型的推荐系统的目标是通过建模用户的历史物品交互记录(V^{u_{i}}=[v_{1}^{u_{i}}, v_{2}^{u_{i}}, \cdots, v_{|L_{u_{i}}|}^{u_{i}}])（例如点击、购买等）来理解用户偏好，其中(|L_{u_{i}}|)是用户(u_{i})的交互序列长度。值得注意的是，物品(v_{j})的辅助信息（如标题和描述）是公开可用的，可用于增强大语言模型对用户偏好的建模。在我们的设置中，我们让大语言模型从候选集(C={v_{j}}{j=1}^{M})中选择用户 u 偏好的物品，其中 M 是候选物品的数量。候选集 C 通常包含一个正样本（用户真正喜欢的物品）和 M-1 个负样本（用户不喜欢的物品）。具体而言，对于参数为 δ 的冻结大语言模型(f{\delta})，我们将输入 - 输出序列对表示为（Q, A），其中 Q 是推荐查询/提示词，包含任务描述和用户的历史物品。输出 A 是大语言模型的预测结果。此外，我们在附录 A.2 中介绍了图神经网络（GNN）的相关概念。
如图 2 所示，我们提出的 K-RagRec 包含五个关键组件：用于语义索引的跳域知识子图（Hop-Field Knowledge Sub-graphs for Semantic Indexing）、流行度选择性检索策略（Popularity Selective Retrieval Policy）、知识子图检索（Knowledge Sub-graphs Retrieval）、知识子图重排序（Knowledge Sub-graphs Re-Ranking）和知识增强推荐（Knowledge-augmented Recommendation）。该模型首先对知识图谱中的跳域知识子图进行索引；然后，实施流行度选择性检索策略，确定哪些物品需要被检索或增强；接着，从知识向量数据库中检索特定的子图；随后，对检索到的知识子图进行重排序，以提升检索质量；最后，将检索到的知识子图与原始提示词结合，生成推荐结果。
这里的知识子图实际上就是 layer2_embeddings_W.pt 和 layer3_embeddings_W.pt 图里面的每个节点融合了邻居信息，本质上每个节点都是一个子图表示。
输入（左侧）： node attributes（节点属性）：表示图中每个节点的特征，例如在社交网络中可能是用户的年龄、性别等。edge attributes（边属性）：表示连接两个节点的边的特征，例如在社交网络中可能是'朋友'、'同事'等关系类型。核心模块（中间）： PLM（Pre-trained Language Model，预训练语言模型）：这里指的是 SentenceBert。捕捉节点和边的语义信息。模块周围有雪花状图标，可能象征'冻结'或'预训练'的状态，即该模型参数已经预先训练好，仅在当前任务中微调或直接使用。输出（右侧）： node → z：表示对每个节点生成一个语义嵌入向量 z，捕捉该节点的上下文语义信息。edge → r：表示对每条边生成一个语义嵌入向量 r，描述边的关系语义。上方标注 Semantic Information（语义信息），说明输出的 z 和 r 是具有语义意义的表示。知识向量数据库：对应
index_KG.py生成的0.pt、layer2_embeddings_W.pt、layer3_embeddings_W.pt，存储节点和边的向量表示。
通常，从知识图谱中检索知识会将知识图谱分割为节点（He 等人，2024）或三元组（Luo 等人，2023），并且只检索知识图谱中目标实体附近的局部内容。然而，这些方法只是简单地检索实体（即物品）的一阶邻居，难以在推荐过程中捕捉实体/物品之间的高阶邻域效应。因此，为了有效地从知识图谱中检索知识，我们提出对跳域知识子图进行语义索引，该方法能够灵活地分割知识图谱，并全面呈现知识图谱中节点的邻域信息。如图 2 的组件 1 所示，我们首先引入一个预训练语言模型（PLM），例如 SentenceBert（Reimers, 2019），来捕捉节点 no 的语义信息，如下所示：*zno = PLM(xno ) ∈ Rd，其中 d 是输出表示的维度。类似地，我们也捕捉知识图谱中边 eo 的语义信息：reo = PLM(xeo ) ∈ Rd，其中xno和xeo *分别是节点 no 和边 e0 的文本属性（例如物品的标题和描述）。
在知识图谱中，'hop'指的是 '跳数'或'步数'，用来描述两个实体之间的路径长度。1-hop neighbors（一跳邻居）：直接与某个节点相连的节点。2-hop neighbors（两跳邻居）：通过一个中间节点连接的节点。k-hop：k 步以内的所有节点
为了从知识图谱中检索粗粒度和细粒度图结构的细致知识，我们引入了一个图神经网络 GNN，用于聚合实体邻居的信息。对于每个实体，其 l 跳表示可以看作是包含自身 l 跳邻居的知识子图表示。对于每个子图，我们将其表示存储在知识向量数据库中。
尽管 RAG 可以通过检索到的知识增强大语言模型对用户偏好的建模，但对每个物品进行检索会消耗大量检索时间，这会严重降低用户体验并导致用户流失。同时，推荐系统中大多数用户的在线行为遵循幂律分布（Abdollahpouri 等人，2017; Celma 和 Herrera, 2008）：一小部分物品（例如不到 20%，即热门物品）通常占据了用户在线行为的大部分（例如超过 80%），而冷启动物品（新物品或小众物品）的用户交互很少。因此，大多数模型往往拥有热门物品的丰富知识，而冷启动物品的性能较差（Zhao 等人，2023）。为此，我们设计了一种流行度选择性检索策略，基于物品的流行度（例如销量、浏览量）来确定是否需要从知识图谱中增强该物品。具体而言，如果物品的流行度低于预定义的阈值 p，则对其进行检索；否则不检索。通过整合这一策略，K-RagRec 的检索时间可以显著减少，实现更高效的检索。
给定知识子图检索的查询，我们采用与第一步索引相同的预训练语言模型（PLM），以确保查询与知识子图表示处于一致的嵌入空间（向量空间）。我们将需要检索的物品
的文本属性（例如物品的标题和描述）
定义为查询，并得到其语义信息 qj：qj = PLM(xqj ) ∈ Rd。
接下来，我们为物品
从 G 中检索 top-K 个最相似的子图
其中sim(⋅,⋅)是用于衡量查询表示qj和知识向量数据库中知识子图表示
之间相似度的度量（比如余弦相似度）。最后，从用户 ui 的历史交互
中需要检索的物品对应的知识子图，将组成一个知识子图集合 G。
为了提升检索质量以增强推荐性能，下一步关键是知识子图重排序。如果用户 ui 有很长的物品历史交互列表，将所有检索到的知识子图 g' ∈ G 直接输入大语言模型会导致信息过载。因此，我们执行重排序以缩短检索到的知识子图，并确保最相关的知识子图排在提示词的前面。具体而言，我们将推荐提示词作为重排序的查询，该提示词包含任务描述和用户的历史物品。例如，这个推荐提示词可以是'给看过《黑客帝国》《钢铁侠》等电影的用户推荐一部最可能喜欢的电影？'。为了保持一致性，我们采用相同的预训练语言模型（PLM）来捕捉上述提示词的语义信息 P，并对 G 中的知识子图进行重排序，得到 top-N 个知识子图集合
为了帮助大语言模型更好地理解检索到的知识子图的结构，并避免长上下文输入，我们进一步整合了另一个图神经网络（GNN）编码器
（参数为
），以增强结构信息的表示学习：
（7）
我们还引入了一个多层感知机（MLP）投影器
（参数为 θ），用于将
中所有子图的嵌入映射到大语言模型的语义空间：
其中[.;.]表示拼接操作。提取的知识子图嵌入
作为软提示词（soft prompt），被附加在大语言模型的输入 token 嵌入之前。
MLP 投影到大模型空间（公式 8）：把 5 个结构向量拼接起来，用 MLP 转换成大模型能看懂的向量
（软提示词）。
GNN 编码结构信息（公式 7）：把重排序后的子图集合
（比如 5 个科幻片子图）输入 GNN，GNN 会提取它们的'结构关系'（比如'都是科幻片''都有太空场景'），生成每个子图的结构向量
。
训练过程大致可以看作是软提示词调优（soft prompt tuning），其中检索到的知识子图是一系列软图提示词（soft graph prompts）。形式上，生成过程可以表示为：
因此，我们不需要对大语言模型进行大规模微调，只需要学习两个 GNN（即
、
和投影器
的参数，而大语言模型的参数 δ 保持冻结。我们通过交叉熵损失
更新参数
、
和 θ，其中 Y 是真实标签（用户真正喜欢的物品），A 是大语言模型的预测结果。
编码用的 GNN（
）：让它更好地提取结构信息。
索引用的 GNN（
）：让它更好地生成子图索引。
为了评估 K-RagRec 框架的性能，我们采用了三个真实世界数据集。MovieLens-1M¹ 包含约一百万条电影评分和电影的文本描述（即'标题'）。MovieLens-20M² 是一个大规模电影评分数据集，包含超过 138,000 名用户对 27,000 部电影的 2000 多万条评分。Amazon Book³ 是一个书籍推荐数据集，记录了超过 1000 万条用户对书籍的评分和书籍标题。此外，我们采用了流行的知识图谱 Freebase⁴，并过滤出与这三个数据集相关的三元组，以重构知识图谱。这三个数据集和知识图谱的统计信息如表 3 所示。
在基于大语言模型的推荐研究领域，我们的工作率先探索了从知识图谱中检索知识以增强大语言模型的推荐能力。因此，为了评估有效性，我们将提出的框架与一系列精心设计的基于知识图谱 RAG 增强的大语言模型推荐基线进行了比较。首先，我们纳入了两种典型的仅推理方法：Retrieve-Rewrite-Answer（Wu 等人，2023b）（KG-Text）和 KAPING（Baek 等人，2023），前者检索子图并将其文本化，后者检索三元组。我们排除了一些基于知识推理路径的方法（Luo 等人，2023），因为仅从用户的交互物品中检索可靠的知识推理路径较为困难。接下来，我们将 K-RagRec 与各种基于检索增强的提示词调优方法进行比较，包括结合 KG-Text 的提示词调优（PT w/ KG-Text）、结合检索的 GraphToken（Perozzi 等人，2024）（GraphToken w/ RAG）以及 G-retriever（He 等人，2024）。此外，我们还将我们的方法与结合检索的 LoRA 微调（Lora w/ KG-Text）（Hu 等人，2021）进行了比较。
一、仅推理类（Inference-only）：'拿来就用，完全不训练'
这类模型没有任何训练步骤，直接把知识图谱的信息丢给大模型生成推荐，属于'最基础的 RAG'。
- KG-Text（Wu et al., 2023b）具体做法：① 从知识图谱里检索目标物品的子图（比如《沙丘 2》的导演、类型、系列等三元组）；② 把这些结构化的子图（三元组）转成自然语言文本（比如'《沙丘 2》的导演是丹尼斯，类型是科幻，属于沙丘系列'）；③ 把文本直接喂给大模型，让大模型基于这段文本推荐。缺点：转文本时会引入冗余/噪声（比如多余的描述），而且子图的结构关系（比如'丹尼斯→其他科幻片'）被文本化后丢了——K-RagRec 是直接用 GNN 处理子图结构，不丢信息。
- KAPING（Baek et al., 2023）具体做法：① 从知识图谱里直接检索目标物品的三元组列表（比如只拿'《沙丘 2》- 导演 - 丹尼斯''《沙丘 2》- 类型 - 科幻'）；② 把三元组列表直接传给大模型，让大模型基于这些零散的三元组推荐。缺点：只拿零散的三元组，没有子图的关联信息（比如丹尼斯的其他作品），大模型只能看到'孤立的属性'，推荐不够准——K-RagRec 会检索高阶子图，包含间接关联。 二、提示词调优类（Frozen LLM w/ PT）：'训练提示词，不碰大模型参数'
这类模型冻结大模型的所有参数，只训练'软提示词'（一段可学习的向量），把提示词和知识图谱信息结合喂给大模型，比'仅推理'效果好，但还是有缺陷。
- PT w/ KG-Text（Prompt Tuning with KG-Text）具体做法：① 流程和'KG-Text'一样（检索子图→转文本）；② 额外训练一个软提示词（比如'[科幻 | 导演关联 | 系列作品]'对应的向量）；③ 把'软提示词 + KG-Text 的文本'一起喂给大模型，大模型参数不动，只训提示词。缺点：检索还是用 KG-Text 那套（子图转文本、丢结构），检索深度只有一阶（没有间接关联）——K-RagRec 是粗细粒度检索 + 高阶子图，关联信息更多。
- GraphToken w/ RAG（Perozzi et al., 2024）具体做法：① 把知识图谱的'节点/边'转成特殊的图 Token（比如把'《沙丘 2》'编码成一个专属 Token
[Node_Dune2]）；② RAG 检索目标物品的图 Token，把这些 Token 加到提示词里；③ 训练这些图 Token 作为'软提示词'的一部分，大模型参数冻结。缺点：只检索'单个图 Token'，没有子图的结构关系（比如 Token 之间的'导演 - 作品'关联没体现）——K-RagRec 是用 GNN 处理子图的结构，能捕捉关系。- G-retriever（He et al., 2024）具体做法：① 从多种图（知识图谱、用户社交图）里检索目标物品的子图；② 把这些子图的信息整合到提示词中；③ 训练提示词，大模型参数冻结。缺点：检索时没有'选择性'（所有物品都检索）+ 子图不重排序，导致冗余信息多、效率低——K-RagRec 有流行度选择性检索 + 子图重排序，又快又准。 三、微调类（Fine-tuning）：'微调大模型的部分参数'
这类模型会动大模型的参数（但用 LoRA 降低成本），效果不错但成本更高。
- Lora w/ KG-Text 具体做法：① 流程和'KG-Text'一样（检索子图→转文本）；② 用LoRA（低秩适配）微调大模型（只训大模型里的少量参数，不是全量微调）；③ 让大模型学习'结合 KG-Text 文本做推荐'。缺点：还是需要微调大模型，成本比'仅训提示词 + GNN'高（LoRA 虽然便宜，但比 K-RagRec 的'训 GNN + 投影器'贵）——K-RagRec 冻结大模型，只训小组件，成本更低。
- Lora w/ K-RagRec 具体做法：把 K-RagRec 的组件（GNN 索引、选择性检索等）和 LoRA 微调结合，既用 K-RagRec 的知识子图，又微调大模型的 LoRA 参数。为什么这是'最佳但没必要'：它效果最好，但 K-RagRec不微调大模型也能接近这个效果—— 突出 K-RagRec'低成本 + 高性能'的优势。
为了评估 K-RagRec 框架的有效性，我们采用了两种广泛使用的评估指标：准确率（Accuracy, ACC）和召回率 @k（Recall@k）（He 等人，2020）。我们报告 k=3 和 k=5 的结果。受近期研究（Zhang 等人，2024; Hou 等人，2022）的启发，我们采用留一法（leave-one-out）进行评估。具体而言，对于每个用户，我们选择用户最后交互的物品作为目标物品（正样本），并将目标物品之前的 10 个交互物品作为历史交互。然后，我们利用大语言模型从 20 个候选物品（M=20）中预测用户偏好的物品，其中包含 1 个目标物品和 19 个随机采样的负样本。对于训练过的模型（包括提示词调优和微调），我们通过提取每个物品的分配概率来计算 Recall@k，评估模型将目标物品排在前 k 个预测中的能力。此外，我们还在附录 A.5 中展示了候选物品数 M=10 的对比实验。
我们基于 PyTorch 实现了该框架，并在 2 块 NVIDIA A6000-48GB GPU 上进行实验。我们采用 SentenceBert 对实体、关系和查询属性进行编码。对于 MovieLens-1M，我们使用 3 层图 Transformer 作为 GNNIndexing 和 GNNEncoding；对于 MovieLens-20M 和 Amazon Book，我们使用 4 层。层维度设置为 1024，头数设置为 4。流行度选择性检索策略的阈值 p 设置为 50%。对于每个需要检索的物品，我们检索 top-3 个最相似的子图。重排序后的知识子图数量 N 设置为 5。更多实验细节见附录 A.1。我们还在附录 A.12 中展示了几个提示词示例。
我们在三个开源骨干大语言模型上比较了 K-RagRec 与各种基线模型的推荐性能：LLama-2-7b（Touvron 等人，2023）、LLama-3-8b（Dubey 等人，2024）和 QWEN2-7b（Yang 等人，2024）。结果如表 1 所示。从对比中，我们得到以下主要观察结果：
为了评估我们提出的框架中每个组件的影响，我们进行了消融实验，在 MovieLens 和 Amazon Book 数据集上比较了 K-RagRec 与四个消融变体，使用 LLama-2-7B 作为骨干大语言模型。每个消融变体的细节见附录 A.6。结果如图 3 所示。观察实验结果，我们发现移除框架的任何一个组件都会导致推荐的整体性能下降，证明了每个模块的有效性。其次，移除 GNN 编码器（GNN Encoder）会导致模型在 MovieLens 和 Amazon Book 数据集上的准确率分别下降 37% 和 45.9%，突显了采用 GNN 对知识子图的结构进行编码的重要性。更多细节见附录 A.6。
在本小节中，我们在 MovieLens-1M 数据集和 LLama-2-7b 上评估了我们提出的 K-RagRec 框架与基线模型的推理效率。我们记录了使用两块 NVIDIA A6000-48G GPU 进行一次推理的时间成本。单次推理的时间成本如表 2 所示。观察实验结果，我们注意到各种知识图谱 RAG 方法显著增加了推理时间，这是由于知识图谱的规模较大。相比之下，K-RagRec 与各种知识图谱 RAG 方法相比实现了最佳的计算效率，仅比无检索的直接推理慢约 0.1 秒。这些发现突显了 K-RagRec 的效率，并验证了我们的流行度选择性检索策略的有效性。
在本节中，我们评估了 K-RagRec 的三个主要超参数的影响：流行度选择性检索策略阈值 p、检索到的知识子图数量 K 和重排序后的知识子图数量 N。此外，我们在附录 A.10 和 A.11 中分析了各种 GNN 编码器变体和不同 GNN 层数对所提出框架的影响。
在本文中，我们提出了一个新颖的框架 K-RagRec，通过从知识图谱中检索可靠和最新的知识，来增强大语言模型的推荐能力。具体而言，我们首先引入了一个 GNN 和预训练语言模型（PLM）对知识图谱进行语义索引，实现知识图谱的粗粒度和细粒度检索。为了进一步提高检索效率，我们引入了一种流行度选择性检索策略，基于物品的流行度确定是否需要检索该物品。值得注意的是，K-RagRec 对检索到的知识子图进行了更具表达力的图编码，使大语言模型能够有效利用结构信息，并避免长上下文输入。在三个真实世界数据集上进行的大量实验证明了我们提出的框架的有效性。
据我们所知，本工作是首次研究知识图谱 RAG 在基于大语言模型的推荐中的应用。因此，我们认识到本工作仍有以下三个主要局限性，可在未来研究中加以改进：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
