跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像AI 生图工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonSaaSAI算法

五分钟构建动态知识图谱:利用大模型提取实体关系与数据对话

一种利用大模型知识图谱构建器在 5 分钟内将非结构化文本转化为动态知识图谱的方法。该工具基于 Neo4j 生态系统,支持 PDF、网页和视频等多种数据源。通过自动识别实体和关系,构建图谱后可进行可视化探索及自然语言对话。文章详细说明了环境准备、图谱构建流程、RAG 代理工作机制以及本地部署的安全考量,展示了如何利用 GraphRAG 技术加速信息处理和发现潜在规律。

嘘发布于 2025/2/7更新于 2026/7/2536 浏览
五分钟构建动态知识图谱:利用大模型提取实体关系与数据对话

五分钟构建动态知识图谱:利用大模型提取实体关系与数据对话

利用知识图谱从大量文档、视频中提取信息,建立实体之间的关系,有利于加速信息处理,提取文档中的数据,以及发现实体之间潜在关系和规律。随着 AI 大模型的快速发展,大模型和知识图谱的结合有了更多可能性。

本文将演示如何在 5 分钟内上传数据源,构建一个动态知识图谱,可用于提取实体关系,并且与数据对话。

什么是大模型知识图谱构建器

Neo4j 大模型知识图谱构建器(LLM Knowledge Graph Builder)是一款在线应用,无需编写代码和使用 Cypher 语言即可将非结构化文本转化为知识图谱,操作起来非常方便。

它利用机器学习模型将 PDF 文件、网页和 YouTube 视频等转化为包含实体及其关系的知识图谱。前端是基于 React 的应用,后端是 Python FastAPI 应用。该应用使用了 Neo4j 为 LangChain 贡献的 llm-graph-transformer 模块。

该应用体验流畅,分为以下四个简单步骤:

  1. 导入数据:支持多种数据源,包括 PDF 文档、维基百科页面、YouTube 视频等。
  2. 识别实体:使用 AI 大模型识别并提取非结构化文本中的实体和关系。
  3. 构建图谱:将识别出的实体和关系转换为图谱格式,利用 Neo4j 的图谱功能。
  4. 使用图谱:提供直观的网页界面,用户可以方便地与应用互动,包括上传数据源、可视化生成的图谱以及与 RAG 代理交互。

知识图谱构建界面

你可以在 Neo4j 官网使用应用程序,无需绑定支付信用卡和 AI 大模型密钥,使用过程无任何障碍。

环境准备

在使用大模型知识图谱构建器之前,你需要创建一个新的 Neo4j 数据库。

你可以按照以下步骤使用免费的 AuraDB 数据库:

  1. 访问 https://console.neo4j.io 并登录或创建账户。
  2. 在 Instances 下创建一个新的 AuraDB Free 数据库。
  3. 下载凭证文件。
  4. 等待实例启动。

完成上述步骤后,Neo4j 数据库已经启动,并且有了凭证。点击右上角的 Connect to Neo4j,打开大模型知识图谱构建器。

连接 Neo4j 数据库

将之前下载的凭证文件拖到连接对话框中,所有信息会自动填充。你也可以手动输入所有信息。

创建知识图谱

首先将非结构化数据导入,然后通过 AI 大模型识别关键实体及其关系。

你可以将 PDF 和其他文件拖到左侧的第一个输入区域。 第二个输入框允许你复制粘贴 YouTube 视频链接(暂不支持其他视频网站)。 第三个输入框则用于输入维基百科页面链接。

在这里,我将上传了:

  1. 一家供应链公司内部的 PDF 文件,文档详细记录了他们的整个供应链策略和产品。
  2. 福布斯的新闻文章。
  3. 一个关于《企业可持续发展尽职调查指令》(CSDDD)的 YouTube 视频。
  4. 以及维基百科上的两篇文章。

你可以选择只上传 pdf 文档,视频或者维基百科页面。

上传文件时,应用程序会使用 LangChain 文档加载器,以及 YouTube 解析器将上传的文件存储为图中的文档节点。

所有文件上传完毕后,你会看到类似如下的界面:

文件上传列表

现在,我们只需要选择使用的模型,点击 Generate Graph,系统将为你完成其余的工作!

如果你只想生成特定文件的图谱,可以先选择文件(在表格第一列的复选框中勾选),然后点击 Generate Graph。

⚠️ 提示:如果你想使用预定义的或自定义的图模式,可以点击右上角的设置图标,然后从下拉菜单中选择一个预定义模式。你也可以通过输入节点标签和关系来使用自定义模式,还可以从现有的 Neo4j 数据库中提取模式,或者粘贴文本,让 AI 大模型分析并提供建议的模式。

工作原理

处理文件并创建知识图谱是如何进行的呢?我把工作原理总结如下:

  1. 内容被分割成小块(Chunking)。
  2. 小块存储在图中,并连接到文档节点和彼此,以实现高级 RAG 模式。
  3. 高度相似的小块通过 SIMILAR 关系连接,形成 K 最近邻图。
  4. 计算并存储小块的嵌入(Embeddings)和向量索引。
  5. 使用 llm-graph-transformer 或 diffbot-graph-transformer,从文本中提取实体和关系。
  6. 实体存储在图中,并连接到原始小块。

探索知识图谱

从文档中提取的信息被结构化为图形格式,其中实体成为节点,关系则成为连接这些节点的边。

Neo4j 的优势在于它能够高效地存储和查询这些复杂的数据网络,使生成的知识图谱能够立即用于各种应用。

在使用 RAG 代理提问之前,可以选中一个或多个文档,点击显示图谱(Show Graph)按钮。这将显示所选文档中的实体,你也可以在该视图中显示文档和块节点。

图谱可视化视图

点击 Open Graph with Bloom 按钮将启动 Neo4j Bloom,将可视化创建的知识图谱。点击删除文件(Delete files)将从图中删除选定的文档和块(如果在选项中选择,也会删除实体)。

与你上传的数据对话

现在进入最后一个部分:使用右侧面板中的 RAG 代理(RAG agent)对话。

机制说明

下图展示了 GraphRAG 过程的简化视图。

GraphRAG 流程

当用户提出问题时,使用 Neo4j 向量索引和检索查询来找到与问题最相关的块及其连接的实体,深度最多可达两跳。

还可以总结聊天记录,并将其作为一个元素来丰富上下文。

各种输入的信息(问题、向量结果、聊天记录)都会被发送到选定的 AI 大模型中,通过一个自定义提示,向选定的 AI 大模型提供问题的各种输入和来源,并请求其根据这些元素和上下文提供并格式化问题的回答。当然,这个提示还包括其他方面,比如格式化要求引用来源,在不清楚答案时不进行推测等。

完整的提示和指令可以在 QA_integration.py 文件中找到,标记为 FINAL_PROMPT。

文件地址:https://github.com/neo4j-labs/llm-graph-builder/blob/main/backend/src/QA_integration.py#L59

对话界面功能

在主屏幕右侧的聊天窗口,你会看到三个按钮:

  • 关闭:关闭聊天机器人界面。
  • 清除聊天记录:删除当前会话的聊天记录。
  • 最大化窗口:以全屏模式打开聊天机器人界面。

RAG 代理回答后,还有三种功能:

  • 详情:打开检索信息弹出窗口,显示 RAG 代理如何收集和使用来源(文档)、块和实体的信息。还包括所用模型的信息和令牌消耗情况。
  • 复制:将回答内容复制到剪贴板。
  • 文字转语音:将回答内容朗读出来。

对话界面功能

实际应用场景示例

现在,我就可以询问上传文档的知识了(使用之前上传的数据),比如查询这家公司生产的产品列表,以及这些产品是否受到 CSDDD 法规的影响,如果受到影响,具体的影响是什么。

问答示例

部署与安全考量

虽然在线工具非常便捷,但在企业环境中使用时,需考虑数据隐私和安全问题。

本地部署

如果你想在本地或自己的环境中运行该程序,可以访问 GitHub 仓库并按照官方文档进行操作。这允许你将数据保留在内部网络中,避免敏感信息泄露。

GitHub 仓库:https://github.com/neo4j-labs/llm-graph-builder

性能优化

  1. 分块大小:调整文档切分的大小会影响实体提取的精度。过大的块可能导致关系模糊,过小的块可能丢失上下文。
  2. 模型选择:不同的 LLM 在实体识别能力上有所差异。对于专业领域,建议使用经过微调的模型或提供更详细的 Prompt 指导。
  3. 向量索引:Neo4j 的向量索引性能取决于硬件配置。对于大规模图谱,建议配置 SSD 存储并使用适当的索引参数。

总结

本文介绍了如何使用 Neo4j 大模型知识图谱构建器快速将非结构化数据转化为可交互的知识图谱。通过简单的几步操作,用户可以实现数据的自动化提取、关系发现和智能问答。

该工具结合了 RAG(检索增强生成)和知识图谱技术,为处理复杂文档提供了新的思路。无论是用于企业内部知识库建设,还是个人信息管理,都是一个高效的解决方案。

如需更深入地了解 AI 大模型知识图谱构建器,建议访问官方 GitHub 仓库查看源代码和文档,获取更多构建经验。

目录

  1. 五分钟构建动态知识图谱:利用大模型提取实体关系与数据对话
  2. 什么是大模型知识图谱构建器
  3. 环境准备
  4. 创建知识图谱
  5. 工作原理
  6. 探索知识图谱
  7. 与你上传的数据对话
  8. 机制说明
  9. 对话界面功能
  10. 实际应用场景示例
  11. 部署与安全考量
  12. 本地部署
  13. 性能优化
  14. 总结
  • 免费图片AI生成工具免费生成了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 免费图片视频在线生成30秒,将你的创意变成现实开始设计
  • X/Twitter免费视频下载器免登陆无限额度免费视频解析下载了解详情
  • 100+免费在线小游戏爽一把
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • Flutter for OpenHarmony 集成 dart_openai 接入 AI 大模型
  • OpenClaw Gateway 服务运维指南:启动、停止与监控
  • Ollama v0.16.2 发布:新增云模型控制、Web 搜索与安全性强化
  • Linux 文件权限修改:chmod、fchmod 与 fchmodat 函数解析
  • 手撕 STL 源码:基于红黑树封装 map 与 set
  • VS Code 内置聊天与 GitHub Copilot Chat 的区别
  • VSCode AI Copilot 智能补全失效修复指南
  • 18 种大模型指令调优方法详解
  • 初识 LangChain 与大语言模型基础
  • Stable Diffusion 画质增强:Consistency Decoder 使用教程
  • 游戏开发上手:Pygame、SDL 与 OpenGL 的基础实践
  • OpenClaw 20 个精选 Skills 使用指南与最佳实践
  • KMP 字符串匹配算法详解
  • AI 大模型开发经典书籍推荐与学习路径
  • Python 爬虫开发指南:从 Requests 到 Scrapy 分布式实战
  • 宇树机器人 G1 二次开发:FAST-LIO 建图及 RViz 配置指南
  • 基于 Django 与 Vue 的红色旅游网站设计与实现
  • 基于 Docker 部署 FastGPT 与本地大模型实战指南
  • 大语言模型(LLM)基础原理与应用
  • 实测 ToClaw 信息检索与分析能力:AI 实现先找后写

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online