基于 GraphRAG 与 LangChain 集成 Neo4j 知识图谱及向量数据库

我们将采用混合方法，既使用图知识，也使用标准的文档搜索方式，即通过嵌入模型来搜索与查询最相似的文档。

我们还将使用 dotenv 包，并在 Jupyter Notebook 中加载环境变量。在 .env 文件中，有一个 OpenAI API 密钥、一个 Neo4j URI、Neo4j 用户名和密码。你可以按原样使用这些信息，但在仓库中，它们将被命名为 .env.example。

下一步是创建与数据库的连接。所以我们实例化 Neo4j 图类，这将建立与 Neo4j 的连接。

准备数据集

你可以看到它描述了这个意大利家庭的大量信息，包括不同的名字、关系，如 Antonio 的妹妹 Amo、祖母等。这些信息稍后都将在我们的图中呈现。

我们将使用文本加载器将其加载到内存中，然后使用文本分割器将其分割成多个块，这是标准的方法，以便 LLM 更容易处理信息。

LLM 图转换函数

加载后，我们将设置我们的 LLM 图变换器，它负责将文档转换为 Neo4j 可以处理的形式。

基于环境变量 llm_type，目前我没有设置，所以默认是 Ollama。我们将实例化 ChatOllama 或 ChatOpenAI，然后将其传递给 LLM 图变换器的构造函数。

convert_to_graph_documents 方法将创建文档块之间的所有关系。我们传入创建的文档，计算可能需要一些时间，即使是这个很小的例子，也花了我大约 3 分钟时间，所以稍等片刻。

运行结果来了：这是一个图文档，你可以看到我们有一个 nodes 属性，它是一个包含不同节点的列表，具有 ID。我们可以看到 ID 类似于 Micos Family，类型是 Family，然后我们还有更多的节点，如 Love 概念节点、Tradition 等等。

他们之间也有关系，这些关系将被存储在 Neo4j 中。

可视化我们的图

当前我们还没有启动数据库，所以我们需要先运行 add_graph_documents 方法，提供图文档，然后将所有内容存储在 Neo4j 中。这也可能需要几秒钟时间。文档存储到数据库后，我们可以可视化它们。

首先我们要连接到数据库，我们将使用驱动方法，传入我们的 URI（存储在 Neo4j URI 环境变量中），还需要提供用户名和密码进行身份验证，并创建驱动实例。然后我们创建一个新会话，并使用会话的 run 方法对 Neo4j 运行查询。我们将使用这个查询语句：

如果你不熟悉 Neo4j 可能会觉得有点复杂，但它的意思是 Neo4j 应该返回所有通过 mentions 类型的关系连接的节点对，我们想返回 s, r, 和 t。s 是起始节点，r 是结束节点，t 是关系。

我们可以运行这个方法，并实际可视化我们的图：

现在我们可以向下滚动，这里我们可以看到这是我们的文档的完整知识图谱。正如你所看到的，这相当多，我们可以通过滚动来深入了解更多信息。这里我们可以看到一些实体，比如 Petro 是一个人，我们可以看到 Petro 喜欢厨房、喜欢大海，并且是另一个人 Sophia 的家长。

所以我们可以看到不同的实体通过不同的关系建模，最终你得到了这个非常大的知识图谱。我认为即使是对于我们的小数据集，这也实际上是很多内容。我个人非常喜欢这种图。现在我们来看一下这不仅仅是美观，实际上也很有用。

图的存储做完了，再来一个向量存储

下一步是从 Neo4j 创建一个向量存储，所以我们将使用 Neo4jVector 类，并使用 from_existing_graph 方法，在这里我们只传入嵌入模型，从现有图中计算嵌入。这样我们也可以执行向量搜索，最终我们将把这个向量索引转换成一个检索器，以便有一个标准化的接口。

为图数据库准备实体

现在我们有图数据库，存储了我们的文档，也有了普通的向量存储。现在我们可以执行检索增强生成。由于我们使用图数据库，我们需要从查询中提取实体，以便从图数据库中执行检索步骤。

图数据库需要这种实体，所以我们将创建一个名为 Entities 的自定义模型，继承自 BaseModel，我们希望提取实体，这可以通过提供这个属性 entities 来完成，它是一个字符串列表。这里是 LLM 的描述，所以我们希望提取文本中的所有人、组织和业务实体。

然后我们创建一个 ChatPromptTemplate，系统消息是你正在从文本中提取组织、个人和业务实体。然后我们提供用户输入，并将我们的提示模板传递给 LLM，与结构化输出一起使用，这使用了 Entities 类。

我们得到了我们的实体链，并可以像这样调用它。我们传入问题 "Who are Nonna and Giovanni Corrado?"，所以我们有两个名字，执行调用方法后，我们可以看到输出是一个字符串列表，只有名字。

这些名字将用于查询图数据库。接下来是在 graph_retriever 函数中调用这个方法。首先从查询中提取实体，然后对 Neo4j 运行查询，我将向你展示最终效果。

我们创建了 graph_retriever 函数，传入问题，提取实体，然后查询数据库。

我们问 "Who is Nonna?"，如果运行这个查询，我们可以看到 Nonna 拥有哪些节点和连接。她影响了 Conato，教导了孙子们，影响了新鲜意大利面，影响了 Amico，是家族的女族长。

创建一个混合检索器

然后我们创建一个混合检索器，使用 graph_retriever 和我们的向量存储检索器。我们定义一个函数 full_retriever，在这里设置我们的 graph_retriever 函数，并使用向量检索器，调用其 invoke 方法，获取最相关的文档。我们有了关系图和基于余弦相似度的最相关文档，最终我们将所有文档结合，返回最终数据集。这就是 full_retriever 的作用。

最终链

然后我们创建一个最终链，这是一个普通的 RAG 链，你在几乎所有初学者教程中都会找到这样的链。我们有两个变量，context 和 question，context 是向量存储或其他数据库的输出，question 是我们的问题。所有这些都将发送给 LLM，我们创建一个模板，然后使用 Lang 和表达式语言在这里创建我们的最终链。这将创建一个 runnable_parallel，我将展示其 invoke 方法。

我们只使用一个字符串输入，传递给 full_retriever 函数，保持问题不变，然后将 context 和 question 传递给我们的提示，以填充这些变量。填充这些变量后，我们将所有内容传递给 LLM，并将 LLM 的输出传递给字符串输出解析器。

现在我们可以问 "Who is Nonna Lucia? Did she teach anyone about restaurants or cooking?" 所有关于关系的东西，执行结果：

Generated Query: Nonna2 AND Lucia2 'Nonna Lucia is the matriarch of the Caruso family and a culinary mentor. She taught her grandchildren the art of Sicilian cooking, including recipes for Caponata and fresh pasta.'

我们可以看到答案是 Nonna Lucia 是 Corrado 家族的女族长和烹饪导师。她教导了她的孙子们西西里烹饪的艺术，这确实是正确的。

这就是如何使用 Neo4j 执行图数据库 RAG。

参考链接： [1] 全文代码：https://github.com/Ai-trainee/GraphRAG-with-Llama-3.1/tree/main [2] GraphRA 所有架构：https://gradientflow.com/graphrag-design-patterns-challenges-recommendations/ [3] https://microsoft.github.io/graphrag/