融合知识图谱的大语言模型在问答系统中的应用

抽取转化是指从自然语言文本抽取出知识图谱结构化数据，将知识图谱结构化数据转化为自然语言文本，是为了进一步探索问答系统新范式而设计的。一方面基于大语言模型提取出专业知识，将知识图谱结构化数据转化为自然语言文本，易于用户理解；另一方面利用知识抽取出三元组和知识图谱对比验证，可以增强大语言模型回答的专业性，同时抽取出的三元组在经专家验证后可以插入知识图谱中以增强知识图谱。除此之外，本系统还实现了用户友好的交互服务。

如图 1 所示，系统交互流程如下：（1）用户向系统提出问题，问题通过信息过滤后，与知识库中的相关专业知识点组成提示，输入到专业问答模块中得到答案；（2）信息抽取模块从回答中提取出三元组，与知识图谱进行匹配，获取相关节点数据；（3）这些节点数据经用户选择后，同样以提示的形式输入专业问答模块得到知识图谱增强的回答。这种双向交互实现了大语言模型和知识图谱的深度结合。

总而言之，本文提出的专业问答系统通过大语言模型与知识图谱深度结合，实现了专业的垂直领域问答效果，并且提供用户友好的交互服务。系统的信息过滤模块减少了虚假信息生成的可能性，专业问答模块提供了专业性的回答，抽取转化模块进一步增强了回答的专业性，并可以对结构化数据进行解释，降低用户理解难度，同时可用专家确认无误的知识进一步增强知识图谱。这种新的问答系统范式为用户提供了更准确、更专业的答案，同时保持了用户友好的交互体验。

系统构建方法

本文从数据构造与预处理、信息过滤、专业问答、抽取转化四方面，以中医药方剂领域的应用为例，介绍如何构建系统。 本文针对专业领域，收集相关领域数据进行预处理，设计流程来训练一套易于部署的专业领域问答系统，并探索大语言模型与知识图谱的融合。

图 2 以中医药方剂专业领域为例展示了该系统的问答流程。首先，对输入的中医药方剂相关问题文本进行信息过滤，即文本分类，判断出该文本是否与中医药方剂相关。其次，通过 LangChain 在知识库中检索与文本相关的知识，以提示的方式和问题一起输入大模型，如：ChatGPT、ChatGLM 等，大模型通过推理生成具备专业知识的答案。然后，对该回答进行知识抽取，从回答中抽取出三元组。将抽取出的三元组和已有的方剂知识图谱进行匹配，以验证回答的专业性，同时将知识图谱中的节点以问题的形式输入大模型，获取易读的自然语言解释，从而实现了大模型和知识图谱的双向转换。

数据构造与预处理

本系统的实现需要收集整理专业数据集，以支持系统的实现。本文基于多种数据构造系统所需的数据集、知识库，并对这些数据进行数据预处理。 （1）基于已有的专业领域数据集。本文直接搜集专业领域已有的相关数据集，参考其构成，从中整理筛选出所需的数据。对于中医药方剂领域，参考 MedDialog、CBLUE、COMETA、CMeKG 数据集，整理并构建相关专业数据。 （2）权威数据。权威数据从专业书籍或权威网站收集。这部分数据来自于相关领域的专业书籍和权威网站，用于构建知识库，为大模型的回答提供专业知识支撑。对于中医药方剂领域，主要基于方剂学等专业书籍构建了中医药方剂专业知识库，同时从 NMPA（国家药品监督管理局）、药融云 - 中医药数据库群、TCMID 中医药数据库、中医药证候关联数据库等专业权威网站收集中医药方剂领域的相关数据知识。 （3）问题数据。问题数据用来训练信息过滤模型。由于某些专业领域存在问题数据缺失的情况，本文设计了一种基于提示的方法，使用大模型生成问题数据。首先从相关数据中选择一条数据用来生成提示，将提示输入大模型生成一条数据，重复以上述步骤，直到相关数据被选完。 （4）激活知识抽取能力的微调数据。使用基于提示的方法，通过让 LLM 回答问题，生成合适的微调数据。提示结合信息抽取示例，将提示输入 LLM 生成微调数据，利用这些数据微调大模型以激活大模型的信息抽取能力。

系统使用（1）、（2）中的数据构建知识库，知识库支持多种形式的数据，包括 txt、html、pdf 等格式。使用（3）中的数据训练信息过滤模型。使用（4）中的数据训练知识抽取模型。

信息过滤

针对专业领域的问答，大语言模型无需回答其他领域的问题，为此本系统添加了基于 BERT（Bidirectional Encoder Representations from Transformers）的文本过滤器对问题进行过滤，以限制大模型可以回答的问题范围。 因此需要单独设计文本过滤器以对信息进行过滤。假设可输入大模型的所有的问题集合为 Q，大模型在某一专业领域可以回答的问题集合为 R，可以生成专业回答的问题集合为 D，显然有 Q > R > D。使用微调方式限制将使得 R → D，会让模型回答能力减弱。而使用过滤器的形式，使得 Q → R，将尽可能保证询问的问题在 R 的范围之内，虽然会有部分 R 之外的数据进入大模型，但是由于本文设计的专业增强问答系统仍然保留一定的通用能力，对 R 之外的问题也可以进行无专业验证的回答。 信息过滤将保证本系统尽可能回答在系统能力范围以内的问题，以减少产生幻觉事实的可能。

专业回答

为了使得大模型知识图谱问答系统的回答更具具备专业性，本文通过提示的方式注入知识库中专业知识，增强回答的专业性。通过检索知识库，大模型可以回答其本身能力之外的专业问题，使得大语言模型支持的问题边界扩大。这种方式和引入专业数据的微调方法对比，无需重新训练就可以部署一个专业领域大语言模型。

抽取转化

本节探索大语言模型和知识图谱的深度结合。大模型的回答是易读的自然语言数据，而知识图谱的数据是结构化的知识。为了将两者交互结合，需要实现两者的相互转换：（1）实现对自然语言的结构化；（2）可将结构化的知识转换为自然语言。前者是信息抽取的任务，后者可以通过提示的方式输入大模型转换成自然语言文本。

以中医药方剂领域的应用为例进行分析： （1）对于信息抽取，使用 P-tuning v2 微调的方式强化 LLM 的信息抽取能力。具体来说，在语言模型的每一层上将 l 个可训练的注意力键和值嵌入连接到前缀上，给定原始的键向量 K 和值向量 V，可训练的向量 Pk、Pv 将分别与 K 和 V 连接。注意力机制头的计算就变为相应的数学公式。本文通过这种方法来微调大语言模型，第 3.1 节描述了如何构建微调数据。如图 1 所示，将大模型生成的自然语言答案文本，输入经过信息抽取增强微调后的大模型中，提取出结构化的三元组信息，并与知识图谱进行匹配，在专家验证后，可以存储到方剂知识图谱中。 （2）对于结构数据的易读化，使用提示的方式（提示构造如表 2 的 P3 所示），将知识图谱相关节点转换为 P3 后，再将 P3 输入大模型得到自然语言的回答。 本文尝试将专业知识图谱与大语言模型结合，利用大模型生成自然语言回答，抽取出专业的结构化知识，并和已有的专业方剂知识图谱进行知识匹配，以进行专业验证。同时可以将知识图谱中的结构化知识转化成易读的自然语言。

实验

不同模型回答效果展示

（此处展示不同模型在相同问题下的回答对比，验证系统有效性）

性能评估

为了评估系统的性能，本节从主观评估与客观评估两方面验证了在中医药方剂学领域的专业效果，并通过消融实验验证了各个模块都具备相应的提升系统性能的能力。

主观评估

本实验请三个中医药方面的专家对不同模型的回答进行评估，用以验证系统效果。将 100 个问题分别输入三个不同的模型生成答案，然后把来自不同模型的每个问题的结果，交给专家进行评估，比较对于同一个问题，专家更喜欢哪一个模型的回答。横坐标表示不同的专家，纵坐标表示最满意问题所占问题总数的比例。模型 1 是本文所提专业问答系统，模型 2 表示 ChatGLM，模型 3 表示 ChatGPT。由于是对比三个模型的结果，因此只需专家最满意比例大于总体 1/3 就可以证明专业问答系统的回答更好。专家们对模型 1 的回答结果最满意总个数分别是 37、42、42，都超过总问题个数的 1/3，因此本文设计的系统更受专家喜欢。 实验过程中，问题被分为两类，一种是普通问题，另一种是专业问题，两者分别有 50 个问题，共 100 个问题。普通问题是相对常见的问题，对专业知识需求较低；专业问题是考验式问题，类似于考试题，回答专业问题需要具备更多的知识。专家总体评估如图 6（a），简单问题评估如图 6（b），专业问题评估如图 6（c）。 在图 6（a）中，模型 1 取得了最高的满意率，可以看出本系统提出的方法更受中医药专家的喜欢。对于简单问题，如图 6（b）所示，远远优于其他两个模型，对于专业问题，如图 6（c）所示，虽然 ChatGPT 取得最优的结果，但是模型 1 相对于模型 2 仍更受专家喜欢。相对于其他模型，模型 1 的回复更加详细，会补充更多专业知识。但是当问题难度上升，回答问题需求知识更多，当知识库中没有这部分知识时，模型 1 的回答专业性就不如 ChatGPT。这可能是因为 ChatGPT 训练时所用的语料中涉及专业问题，所以 ChatGPT 在回答专业问题时更具备优势。 结果表明，总体上本文所提系统更受专家喜欢。虽然面对复杂问题时，表现不如 ChatGPT，但是相对基线模型 ChatGLM-6B 仍保持更高的满意率，表明了本文所提系统的有效性。

客观评估

为了客观验证系统的问答性能，让系统回答专业相关的选择题，可以客观验证系统性能。此实验收集并整理了 50 条方剂学不同难度的选择题，让不同模型进行回答，计算不同模型对不同问题的得分情况，以评估系统的客观性能。 实验过程中，问题按照问题的难度分为三类，分别为简单题（Simple Question, SQ）、中等题（Medium Question, MQ）、困难题（Difficult Question, DQ）。准确率以正确问题个数除以总问题个数进行计算。 在表 4 中，小括号中的数字表示正确回答问题的个数。从其中结果看，显然随着问题难度提升，回答的正确率依次下降。对于平均正确率而言，专业问答系统显著高于 ChatGLM-6，略低于 ChatGPT。说明专业问答系统能够显著提升大模型的专业能力，甚至能够达到和 ChatGPT 相媲美的结果。 结果表明，和 ChatGLM-6B 相比专业问答系统答对题目的数量更多，从客观上验证了系统的性能。

消融实验

本文进行消融实验，进一步验证信息过滤、专业问答、知识抽取与知识图谱相互转换三个模块的功能。对于信息过滤模块而言，其作用并非是增强回答专业性，而是对问题进行过滤，减少生成幻觉事实的可能性，因此为了验证其能力，需要使用问题数据集单独进行测试；对于专业问答模块，其本质是利用知识库增强回答专业性，因此对该模块需要测试性能；对于知识抽取与知识图谱相互转换模块，可以通过去除和知识图谱交互重新生成答案部分，以验证增强回答专业性，同样需要测试性能。因此在消融实验中，对信息过滤模块单独使用问题数据集验证其信息过滤能力，对后两者使用客观性能评估的数据集验证性能提升。 实验过程中，为了验证信息过滤模块的能力，将输入的问题按照相关程度划分为三种类型的问题，分别为无关问题（Completely Unrelated Question, CUQ）、部分相关问题（Some Related Question, SRQ）、完全相关问题（Completely Related Question, CRQ）。对于部分相关问题，是在无关问题的基础上增加相关的信息或在相关问题的基础上增加无关信息，作为干扰。通过将无关信息和相关信息混合的方式制造部分相关问题，可以验证信息过滤的鲁棒性。准确率使用正确过滤问题个数除以问题总个数进行计算。 在表 5 中，RIF（Remove Information Filter）表示去除信息过滤，RKB（Remove Knowledge Base）表示去除知识库，RKG（Remove Knowledge Graph）表示去除知识图谱交互。去除信息过滤模块后，专业问答系统可以通过合适的提示机制进行信息过滤，从结果看，专业问答-RIF 的过滤准确率低于专业问答系统的过滤准确率，说明了去除信息过滤模块后系统的信息过滤能力有所降低，验证了信息过滤模块的有效性。对于简单问题的回答，专业问答-RKB 的准确与 ChatGLM-6B 基本相同，专业问答-RKG 的准确率与专业问答系统基本相同，说明对于 SQ，大模型本身具备一定的回答能力，其增幅主要依靠知识库，知识图谱进行交互增强不明显。对于困难问题，专业问答-RKB 和专业问答-RKG 的准确率低于专业问答系统，高于 ChatGLM-6B，可见对于 MQ、DQ，通过知识图谱进行交互发挥一定的作用，猜测这可能是因为知识图谱能够注入相关知识或辅助大模型进行推理，激活大模型的边缘知识。总体来说 RKB、RKG 都会使得专业问答系统的回答准确率下降，并且高于 ChatGLM-6B 的准确率，由此验证了系统各个模块均发挥作用。 对于简单问题知识图谱作用不明显，这是由于回答问题相对简单时，所需要知识是孤立的，无需通过深度推理得出，当不存在相应知识时，就无法通过知识图谱辅助推理得到正确的答案，因此知识图谱交互对回答的增强不明显。

大语言模型和知识图谱的相互转换

本实验通过展示系统的用户界面截图，体现了系统用户交互服务，同时还体现了本文所设计的系统具备的大语言模型与知识图谱之间的交互能力。 本文实现了知识图谱与大模型的双向链接，探索了大语言模型和知识图谱的深度结合。用户向系统提出问题，系统进行回答，并通过图的方式，展示知识图谱相关数据节点，用户可以选择其中相关节点，再次输入大模型得到更多的解释。 图 7 来自系统界面截图，展示了系统问答、图谱数据易读化、自然语言回答结构化的效果。左上角的问答截图是用户向系统发出提问，系统生成答案，然后对答案进行结构化，生成三元组，并和已有的知识图谱进行匹配后，展示出右上角的知识图谱节点。如图 7 右下角所示，用户可以选择相关节点，系统将其转化为问题再次生成答案，最终两个答案相结合就是系统的回复。这样既为用户提供了良好的交互服务，也实现了大语言模型与知识图谱的双向交互。 在中医药方剂领域，系统生成的回复有一定的参考价值，但是由于中医药方剂领域本身的一些特性，系统还具有很多可以改进的地方，比如加入中医如何开方的数据和相关问诊的多模态数据，如患者的舌苔、脉象、气色等。该系统针对不同的领域，需有相应的调整。

结束语

在大模型时代，激活大模型中的'涌现'能力并将其适配到具体领域场景是未来在垂直领域建立竞争力的关键，其中高质量领域数据与知识不可或缺。垂直领域的数据与知识可以有两种利用方式： （1）在 LLM 预训练过程中，注入垂直领域知识并进行相应架构与工程的优化，或者使用微调方法修改模型参数向其中注入专业知识； （2）结合垂直领域数据与知识图谱，设计合适的提示机制，充分激发基座大模型的能力，实现垂直领域任务能力的'跃迁'。本文从第二种方式开始，研究大语言模型 + 专业知识库的问答系统范式，探索将专业知识图谱与大语言模型深度结合，实现了大语言模型与知识图谱的双向交互，同时实现了文本知识库、知识图谱、大语言模型三种知识的融合。

大模型知识图谱问答系统是对大模型与知识图谱结合的探索工程，仍然存在着很多值得完善的部分。在该系统中目前仅实现了在中医药方剂领域的应用，其设计思路还可以应用在不同的领域，如法律、金融、教育等垂直领域。除此之外，在系统效果的验证方面还缺少一项标准的评估系统专业能力的基准，因此在后续工作中，将开发一个专门用于评估垂直领域问答系统性能的基准。

挑战与创造都是很痛苦的，但是很充实。