统一大型语言模型和知识图谱：研究路线图与未来方向

最近，将 LLMs 与 KGs 统一起来的可能性越来越受到研究人员和从业人员的关注。LLMs 和 KGs 本质上是互相关联的，可以相互增强。在 KG 增强的 LLMs 中，KGs 不仅可以被整合到 LLMs 的预训练和推理阶段，以提供外部知识 [35]-[37]，而且还可以用于分析 LLMs 并提供可解释性 [14]，[38]，[39]。在 LLM 增强的 KGs 中，LLMs 已经被用于各种与 KG 相关的任务，例如 KG 嵌入 [40]，KG 完成 [26]，KG 构建 [41]，KG-to-text 生成 [42]，和 KGQA [43]，以提高 KGs 的性能并促进 KGs 的应用。在协同作用的 LLM + KG 中，研究人员将 LLMs 和 KGs 的优点结合起来，相互提高在知识表示 [44] 和推理 [45]，[46] 方面的性能。虽然有一些关于知识增强 LLMs 的调查 [47]-[49]，主要关注使用 KGs 作为外部知识来增强 LLMs，但它们忽视了其他整合 KGs 的可能性，以及 LLMs 在 KG 应用中的潜在角色。

在这篇文章中，我们提出了一个展望未来的路线图，用于统一 LLMs 和 KGs，利用它们各自的优势并克服各种方法的限制，以适应各种下游任务。我们提出了详细的分类，进行了全面的回顾，并指出了这些快速发展领域的新兴方向。我们的主要贡献如下：

路线图。我们提出了一个展望未来的路线图，用于整合 LLMs 和 KGs。我们的路线图包括三个通用框架来统一 LLMs 和 KGs，即，KG 增强的 LLMs，LLM 增强的 KGs，以及协同作用的 LLM + KGs，为这两种不同但互补的技术的统一提供了指导。

分类和回顾。对于我们路线图的每一个整合框架，我们都提出了详细的分类和统一 LLMs 和 KGs 研究的新颖分类法。在每个类别中，我们从不同的整合策略和任务的角度回顾了研究，这为每个框架提供了更多的洞察。

新兴进步的覆盖范围。我们覆盖了 LLMs 和 KGs 的先进技术。我们包括了最新的 LLMs 如 ChatGPT 和 GPT-4 以及新的 KGs，例如多模态知识图谱的讨论。

挑战和未来方向的总结。我们强调了现有研究中的挑战，并提出了一些有前途的未来研究方向。

2. 背景知识

在本节中，我们将首先简要介绍几种代表性的大型语言模型（LLMs），并讨论提示工程，该工程有效地使用 LLMs 进行各种应用。然后，我们将说明知识图谱（KGs）的概念，并介绍 KGs 的不同类别。

大型语言模型

在大规模语料库上预训练的大型语言模型（LLMs）已经在各种 NLP 任务中展现出巨大的潜力 [13]。如图 3 所示，大多数 LLMs 都源于 Transformer 设计 [50]，该设计包含了由自注意力机制赋能的编码器和解码器模块。根据架构结构，LLMs 可以被分类为三个组：1）仅编码器的 LLMs，2）编码器 - 解码器的 LLMs，和 3）仅解码器的 LLMs。如图 2 所示，我们总结了几个具有不同模型架构，模型大小和开源可用性的代表性 LLMs。

提示工程

提示工程是一个新兴的领域，专注于创建和精炼提示，以最大化大型语言模型（LLMs）在各种应用和研究领域中的效用 [63]。如图 4 所示，提示是为 LLMs 指定任务（例如，情感分类）的自然语言输入序列。一个提示可能包含几个元素，即 1）指令，2）上下文，和 3）输入文本。指令是指导模型执行特定任务的短句。上下文为输入文本或少数示例提供背景。输入文本是需要模型处理的文本。提示工程寻求提高大型语言模型（例如，ChatGPT）在多种复杂任务中的能力，如问题回答，情感分类和常识推理。链式思维（CoT）提示 [64] 通过中间推理步骤实现复杂推理能力。Liu 等人 [65] 结合外部知识来设计更好的知识增强提示。自动提示工程师（APE）提出了一种自动提示生成方法，以提高 LLMs 的性能 [66]。提示提供了一种简单的方式，可以在无需微调的情况下利用 LLMs 的潜力。精通提示工程可以更好地理解 LLMs 的优点和缺点。

知识图谱

知识图谱（KGs）知识图谱（KGs）将结构化知识存储为三元组集合 KG = {(h, r, t) ⊆ E × R × E}，其中 E 和 R 分别表示实体和关系的集合。现有的知识图谱（KGs）可以根据存储的信息被分为四组：1）百科全书型 KGs，2）常识 KGs，3）特定领域 KGs，以及 4）多模态 KGs。我们在图 5 中展示了不同类别的 KGs 的例子。

应用

LLMs 以及 KGs 已被广泛应用在各种真实世界的应用中。我们在表 1 中总结了一些使用 LLMs 和 KGs 的代表性应用。ChatGPT/GPT-4 是基于 LLM 的聊天机器人，可以以自然对话格式与人类进行交流。为了提高 LLMs 的知识意识，ERNIE 3.0 和 Bard 将 KGs 整合进他们的聊天机器人应用中。Firefly 开发了一款照片编辑应用，允许用户使用自然语言描述来编辑照片。Copilot、New Bing 和 Shop.ai 分别采用 LLMs 来增强他们在编码助手、网络搜索和推荐等领域的应用。Wikidata 和 KO 是两个代表性的知识图谱应用，被用来提供外部知识。AliOpenKG 是一个为推荐设计的知识图谱。Doctor.ai 开发了一个健康护理助手，整合了 LLMs 和 KGs 以提供医疗建议。

3. 路线图和分类

在本节中，我们首先提出一个明确的框架路线图，以统一 LLMs 和 KGs。然后，我们呈现了关于统一 LLMs 和 KGs 的研究分类。

3.1 路线图

我们在图 6 中描绘了统一 KGs 和 LLMs 的路线图。在路线图中，我们确定了统一 LLMs 和 KGs 的三个框架，包括 KG 增强的 LLMs，LLM 增强的 KGs，以及协同的 LLMs + KGs。

3.1.1 KG 增强的 LLMs

LLMs 因其能够从大规模语料库中学习知识并在各种自然语言处理（NLP）任务中取得最先进的性能而闻名。然而，LLMs 经常因其幻觉问题 [15] 和缺乏可解释性而受到批评。为解决这些问题，研究人员已经提出了用知识图谱（KGs）来增强 LLMs。KGs 以明确和结构化的方式存储大量知识，这可以用来增强 LLMs 的知识意识。一些研究人员已经提出在预训练阶段将 KGs 纳入 LLMs，这可以帮助 LLMs 从 KGs 中学习知识 [91]，[92]。其他研究人员提出在推理阶段将 KGs 纳入 LLMs。通过从 KGs 中检索知识，可以显著提高 LLMs 在获取特定领域知识方面的性能 [93]。为了提高 LLMs 的可解释性，研究人员还利用 KGs 来解释 LLMs 的事实 [14] 和推理过程 [94]。

3.1.2 由 LLM 增强的 KG

知识图谱（KGs）储存着结构化的知识，这在很多实际应用中都起着至关重要的作用 [19]。然而，现有的 KG 方法在处理不完整的 KG [25] 和处理文本语料库来构建 KG [95] 方面存在短板。鉴于 LLM 的泛化能力，许多研究人员正试图利用 LLM 来解决 KG 相关的任务。最直接的方式就是将 LLM 作为 KG 相关任务的文本编码器。研究人员利用 LLM 处理 KG 中的文本语料库，然后使用文本的表示来丰富 KG 的表示 [96]。一些研究还使用 LLM 来处理原始语料库，并提取关系和实体用于 KG 的构建 [97]。最近的一些研究试图设计一个 KG 提示，这可以有效地将结构化的 KG 转化为 LLM 可以理解的格式。这样，LLM 就可以直接应用到 KG 相关的任务中，例如 KG 完成 [98] 和 KG 推理 [99]。

3.1.3 融合了 LLM 和 KG 的系统

这几年，研究人员越来越关注将 LLM 和 KG 融合的潜力 [40]，[42]。LLM 和 KG 是两种固有的互补技术，应当将它们统一到一个通用框架中，以便互相增强。为了进一步探索这种统一，我们在图 7 中提出了一个融合了 LLM 和 KG 的统一框架。这个统一框架包含四层：1) 数据，2) 融合模型，3) 技术，和 4) 应用。在数据层，LLM 和 KG 分别用于处理文本和结构化数据。随着多模态 LLM [100] 和 KG [101] 的发展，这个框架可以扩展到处理多模态数据，如视频、音频和图像。在融合模型层，LLM 和 KG 可以相互协同，以提高他们的能力。在技术层，已经在 LLM 和 KG 中使用的相关技术可以被纳入到这个框架中，以进一步增强性能。在应用层，LLM 和 KG 可以整合起来，以解决各种实际应用，如搜索引擎 [102]、推荐系统 [10] 和 AI 助手 [103]。

3.2 分类

为了更好地理解将大型语言模型 (LLMs) 和知识图谱 (KGs) 统一的研究，我们为路线图中的每个框架提供了更细粒度的分类。具体来说，我们关注了将知识图谱和大型语言模型集成的不同方式，即，知识图谱增强的大型语言模型、知识图谱增量的大型语言模型，以及融合了大型语言模型和知识图谱的系统。研究的细粒度分类如图 8 所示。

知识图谱增强的大型语言模型。整合知识图谱可以提高大型语言模型在各种下游任务中的性能和可解释性。我们将知识图谱增强的大型语言模型研究分为三组：1) 知识图谱增强的大型语言模型预训练包括在预训练阶段应用知识图谱并提高大型语言模型的知识表达的工作。2) 知识图谱增强的大型语言模型推理包括在大型语言模型的推理阶段使用知识图谱的研究，这使得大型语言模型能够在不进行再训练的情况下获取最新的知识。3) 知识图谱增强的大型语言模型的可解释性包括使用知识图谱来理解大型语言模型所学习的知识和解释大型语言模型的推理过程的工作。

大型语言模型增量的知识图谱。大型语言模型可以应用于增强各种与知识图谱相关的任务。我们根据任务类型将大型语言模型增量的知识图谱研究分为五组：1) 大型语言模型增强的知识图谱嵌入包括使用大型语言模型来丰富知识图谱的表示，通过编码实体和关系的文本描述。2) 大型语言模型增强的知识图谱完成包括使用大型语言模型编码文本或生成事实以提高知识图谱完成 (KGC) 性能的论文。3) 大型语言模型增强的知识图谱构建包括使用大型语言模型处理实体发现，共指消解，和关系提取任务以构建知识图谱的工作。4) 大型语言模型增强的知识图谱到文本生成包括使用大型语言模型生成描述来自知识图谱的事.

4. 未来方向

在前面的部分中，我们已经回顾了将知识图谱 (KGs) 和大型语言模型 (LLMs) 统一的最新进展，但是仍有许多挑战和未解决的问题需要解决。在本节中，我们将讨论这个研究领域的未来方向。

• 使用知识图谱 (KGs) 进行大型语言模型 (LLMs) 的错觉检测
• 在 LLMs 中编辑知识的知识图谱 (KGs)
• 用于黑盒 LLMs 知识注入的知识图谱 (KGs)
• 针对知识图谱 (KGs) 的多模态 LLMs
• 用于理解知识图谱结构的 LLMs
• 用于双向推理的融合 LLMs 和 KGs

5. 结论

将大型语言模型（LLMs）和知识图谱（KGs）统一是一个吸引了学术界和工业界越来越多关注的活跃的研究方向。在本文中，我们对该领域的最近研究提供了全面的概述。我们首先介绍了将 KGs 集成以增强 LLMs 的不同方式。然后，我们介绍了应用 LLMs 于 KGs 的现有方法，并基于各种 KG 任务建立了分类法。最后，我们讨论了这个领域的挑战和未来的方向。我们希望本文能够提供对这个领域的全面理解，并推动未来的研究。