MiniRAG:轻量级检索增强生成方法与异构图索引技术
MiniRAG 是一种针对小型语言模型优化的检索增强生成系统。它利用语义感知异构图索引和轻量级拓扑增强检索技术,在资源受限环境下实现接近大型语言模型的性能。系统通过构建包含文本块和实体节点的异构图,结合启发式搜索路径发现,有效解决了小模型在多跳推理中的性能退化问题。实验表明,MiniRAG 在合成通信数据和新闻数据集上表现优异,且存储空间需求仅为大型模型的 25%,为边缘设备 AI 应用提供了可行方案。

MiniRAG 是一种针对小型语言模型优化的检索增强生成系统。它利用语义感知异构图索引和轻量级拓扑增强检索技术,在资源受限环境下实现接近大型语言模型的性能。系统通过构建包含文本块和实体节点的异构图,结合启发式搜索路径发现,有效解决了小模型在多跳推理中的性能退化问题。实验表明,MiniRAG 在合成通信数据和新闻数据集上表现优异,且存储空间需求仅为大型模型的 25%,为边缘设备 AI 应用提供了可行方案。

MiniRAG 是一个新型的轻量级检索增强生成(Retrieval-Augmented Generation, RAG)系统,旨在克服小型语言模型(SLM)在资源受限环境中性能不佳的问题。它通过两项创新技术:语义感知异构图索引和轻量级拓扑增强检索,实现了与大型语言模型(LLMs)相当的效果,但仅需后者 25% 的存储空间。此外,该方案提供了一个基准数据集以评估复杂查询场景下的系统表现,并已开源实现和数据集。
MiniRAG 系统通过以下两种核心机制解决在资源受限场景下利用 SLMs 进行 RAG 任务的问题:
MiniRAG 引入了一种语义感知的异构图索引机制,将文本块和命名实体统一在一个结构中,减少对复杂语义理解的依赖。该机制的核心是将数据分为两类节点:
节点之间的边分为两类:
这种结构化的知识表示使得系统即使在 SLMs 能力有限的情况下,也能通过图结构保持鲁棒性和准确性。
MiniRAG 提出了一种基于图的检索方法,利用图结构和启发式搜索模式进行高效的知识发现。该方法包括查询语义映射和拓扑增强图检索两个阶段。
首先,使用小型语言模型从查询中提取相关实体,并使用轻量级句子嵌入模型评估图中所有实体节点的语义相似性。然后,通过智能查询引导机制在图中构建推理路径。这一步骤确保了即使查询简短,也能准确定位到图中的关键节点。
通过嵌入相似性搜索识别种子实体,然后利用异构图结构发现相关的推理路径。通过结合实体特定的相关性评分、结构重要性指标和路径连接模式,实现了高效的检索质量。这种方法不需要高级的语言理解能力,即可平衡多个信息信号。
为了量化检索效果,MiniRAG 定义了以下评分函数:
实体 - 实体连接的相关性评分函数: $$ Score(e_1, e_2) = f(\text{subgraph}(e), \text{embedding}) $$ 其中,$\text{subgraph}(e)$ 表示以边为中心的跳子图,包含从任一端点可达的所有节点和边。该函数评估局部图结构对语义相关性的贡献。
路径发现的综合评分函数: $$ Score(path) = \alpha \cdot Sim(q, e_{start}) + \beta \cdot Importance(path) + \gamma \cdot Connectivity(path) $$ 其中,$Sim(q, e_{start})$ 表示起始节点与查询实体在向量空间中的余弦相似度,$Importance$ 是结构重要性指标,$Connectivity$ 是路径连接模式。这是一个二元指示函数,如果节点出现在路径中则返回 1,否则返回 0。
为了全面评估系统性能,使用了以下数据集:
使用准确率(acc)和错误率(err)作为主要评估指标。
nano vector base 进行向量存储。现有的 RAG 系统在使用 SLMs 时表现出严重的性能退化,例如某些系统在准确率上从 56.90% 下降到 35.42%。MiniRAG 通过语义感知的图索引和拓扑增强的检索方法,显著减少了这种退化,保持了较高的准确率。
通过消融研究,验证了 SLMs 的限制性和查询引导的推理路径发现组件的有效性。去除边信息或文本块节点会显著影响系统性能,证明了异构图结构的必要性。
在复杂的餐厅识别场景中,MiniRAG 通过查询引导的推理路径发现和异构图索引,成功解决了多约束查询问题,而传统 LightRAG 由于 SLMs 的限制未能有效解决。这展示了 MiniRAG 在处理多跳推理时的优势。
这篇论文提出了 MiniRAG 系统,通过创新的异构图索引和轻量级启发式检索机制,有效地整合了基于文本和基于图的 RAG 方法的优势,同时显著减少了语言模型的需求。实验结果表明,即使在使用 SLMs 的情况下,MiniRAG 也能达到与基于 LLMs 的方法相当的性能。
这些贡献为实现私有、高效和有效的设备 RAG 系统迈出了重要一步,为边缘设备 AI 应用开辟了新的可能性,同时保护了用户隐私和资源效率。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online