基于知识图谱的 GraphRAG 非结构化数据处理：LlamaIndex 与 Neo4j

代码中已经包含了较为详细的注释说明，这里可以注意的是：

1. 抽取过程最重要的工具是 LLM 与对应的提示词，这里用了少量示例提示模式（few-shot prompt），你可以根据不同语言的需要做优化。
2. 借助于 PropertyGraphIndex 组件，可以快速的基于文档与抽取器生成知识图谱并存储到图数据库中（通过 Property_graph_store 指定）。
3. 在生成知识图谱时，需要指定嵌入模型，这是为了在生成 Graph 的节点时，对节点的内容或者名称生成向量，用于后续的向量检索。

现在，运行这段代码，完成后登录到 Neo4j 的后端控制台，可以看到基于该文本的知识图谱已经生成。原始的文本将被分割成多个 chunk，并用来创建 label 为"chunk"的多个知识图谱节点，这个节点的 text 属性用来存放原始的文本，同时 embedding 属性用来存放生成向量。原始文本的 chunk 节点和其他抽取生成的节点关系是'MENTIONS'（提到）。

查看其详细的关联关系，可以看到整个知识图谱的构建情况。现在你可以使用 Cypher 语言查看抽取的实体节点及其关系，可以看到抽取工作完成的还不错。如果深入观察，可以发现实体节点也对名字生成了向量（比如下面的亚特兰斯），这也是为后续检索做准备。

基于 Graph 知识图谱的检索与生成

现在我们已经把非结构化的文本转化为基于 Graph 的知识图谱进行存储，并构建了必要的索引。那么如何基于这个知识图谱来完成检索与生成呢？这里有三种常见的知识图谱检索方法：

1. Text-to-Cypher（或其他 Graph 查询语言）。这在上一篇介绍结构化数据的知识图谱检索时已经介绍，即把自然语言用 LLM 转化为 GraphDB 能够理解的查询语言（比如 Neo4j 的 Cypher）后进行检索。
2. Vector Search。这需要 Graph 数据库有对应的向量检索技术支持，即在创建 Graph 时能够对节点或关系做 embedding（作为属性）；在检索时再根据向量检索相似的节点与关系作为上下文。
3. Keywords Search。借助 LLM 从自然语言的输入提取关键词或者同义词，然后使用提取的关键词借助 GraphDB 的能力检索出关联的节点与关系作为后续生成的上下文。

我们延续上面创建的知识图谱，基于 LlamaIndex 框架构建 RAG 检索与生成阶段的程序。这里先创建一个基于关键词的检索器，注意这里的 prompt，是用来抽取输入中的关键词：

def parse_fn(output: str) -> list[str]:  
    matches = output.strip().split("^")  
    keywords=[x.strip().capitalize() for x in matches if x.strip()]  
    print(keywords)  
    return keywords  
  
prompt = (  
        "给定一些初始查询，提取最多 {max_keywords} 个相关关键词，考虑大小写、复数形式、常见表达等。\n"  
        "用 '^' 符号分隔所有同义词/关键词：'关键词 1^关键词 2^...'\n"  
        "注意，结果应为一行，用 '^' 符号分隔。"  
        "----\n"  
        "查询：{query_str}\n"  
        "----\n"  
        "关键词："  
    )  
  
synonym_retriever = LLMSynonymRetriever(  
    index.property_graph_store,  
    llm=llm,  
    include_text=False,  
    output_parsing_fn=parse_fn,  
    max_keywords=10,  
    synonym_prompt=prompt,  
    path_depth=1,  
)

检索器的参数通常包括使用的大模型、提取关键词的提示词、最大提取的关键词数量、检索的路径深度等。需要注意的是 include_text 参数，由于节点与关系都是从自然语言文本中提取，该参数代表在检索到相关的节点与关系后，是否同时将其原始的文本（也就是关联的 chunk 节点文本）包含进来作为上下文。

再创建一个向量的检索器，注意向量检索器需要指定的是嵌入模型而非大模型，因此也无需指定提示词参数：

vector_retriever = VectorContextRetriever(  
    index.property_graph_store,  
    embed_model=embed_model,  
    include_text=False,  
    similarity_top_k=2,  
    path_depth=1,  
)  

在 LlamaIndex 中，可以将创建的两种类型检索器作为子检索器进行融合检索，从而形成更加丰富的上下文。借助 PGRetriever 这个组件即可实现：

retriever = PGRetriever(sub_retrievers=[synonym_retriever,vector_retriever])  
retrieve_nodes = retriever.retrieve("梅林发现的东西最后运用到哪里了？")  
for node in retrieve_nodes:  
    print(node.text)

现在你可以首先对这个检索器的效果进行测试与观察，可以看到知识图谱检索器的检索结果是一些相关的"三元组"，即节点 - 关系 - 节点；如果指定了 include_text，那么还会同时带出生成这些三元组的原始文本。

你可以直接基于上述检索器创建查询引擎（类似于 Langchain 的 Chain），即可用来生成查询响应：

query_engine = index.as_query_engine(  
    sub_retrievers=[synonym_retriever,vector_retriever]  
)  

# 查询  
response = query_engine.query("梅林发现的东西最后运用到哪里了？")  
print(response)

观察后台的 LLM 调用跟踪信息，可以看到输入的完整上下文，以验证检索与生成过程的正确性。

优化建议与最佳实践

在实际应用中，基于 Graph 的 Index 与检索技术也可以结合传统向量检索以实现融合检索，用来适应更多样的应用场景。以下是一些优化建议：

1. Chunk 策略调整：非结构化文本切分的大小直接影响知识图谱的粒度。过大的 chunk 会导致三元组过于宽泛，过小则可能丢失上下文。建议根据业务场景尝试不同的 chunk size，并结合 overlap 保持连续性。
2. 嵌入模型选择：虽然默认使用 OpenAI Embedding，但在私有化部署场景下，可选择轻量级开源模型（如 BGE-M3）以降低延迟和成本，同时保证检索精度。
3. 路径深度控制：在检索时，path_depth 决定了遍历图谱的广度。对于深层关系查询，适当增加 depth 有助于发现隐含关联，但会增加计算开销。
4. 混合检索权重：当同时使用关键词和向量检索时，可调整两者的权重比例，针对特定查询类型（如事实性查询 vs 语义性查询）动态平衡。

以上就是一个基于非结构化文本的 GraphRAG 的构建过程。借助于如今的大模型，可以更加快速的抽取非结构化文本中的实体与关系以生成知识图谱，并进而结合向量、关键词等技术进行检索与生成，这对于一些涉及复杂实体间关系理解的查询可以很好的提升生成质量并减少幻觉。

GraphRAG 并非万能，它更适合处理具有强关联性的领域知识。对于纯事实性问答，传统向量检索可能更高效；而对于多跳推理问题，GraphRAG 优势明显。开发者应根据具体业务需求选择合适的检索架构。