MiniRAG 是一种专为 1.5B 参数小型语言模型设计的检索增强生成框架，旨在解决传统 RAG 架构在资源受限场景下对大型模型依赖过高的问题。文章详细阐述了 MiniRAG 的核心架构，包括异构图索引和轻量级图知识检索。通过构建包含文本块节点和实体节点的语义网络，并利用实体 - 实体及实体 - 块连接增强上下文关联，MiniRAG 有效弥补了小模型在语义理解和多步推理上的短板。实验表明，MiniRAG 在仅占用 25% 存储空间的情况下，性能优于 LightRAG 等基线，且在小型模型下保持稳定，避免了传统高级 RAG 框架在小模型上的失效问题。该框架特别适用于边缘设备和隐私敏感应用，为端侧 AI 部署提供了高效解决方案。
检索增强生成（Retrieval-Augmented Generation, RAG）技术彻底改变了大语言模型访问外部知识的方式，展现了从智能问答到文档合成等多个场景下的强大能力。然而，在当前的主流 RAG 架构中——从索引构建、知识检索到最终响应生成——主要依赖于大型语言模型（LLMs）。这种对 LLMs 的强依赖带来了巨大的计算开销和资源消耗，成为了在资源受限的场景（如边缘设备、隐私敏感应用和实时处理系统）中部署的主要障碍。
当前的 RAG 架构（例如 LightRAG，GraphRAG）充分利用了 LLMs 的复杂推理能力，无法适应小型语言模型（SLMs）在多个关键功能上的限制。这些限制主要包括：
这种架构上的不匹配主要表现为两种方式：
但 SLMs 也有其特性，使得有可能在 SLMs 上有限运行 RAG：
为了解决以上问题，并且结合 SLMs 的特性，作者提出了 MiniRAG 框架。
MiniRAG 包括两大核心组件：异构图索引和轻量级图知识检索。该设计旨在通过结构化数据减轻模型负担。
在资源受限的 RAG 系统中，SLMs 面临两大挑战：难以从原始文本中提取和理解复杂的实体关系及上下文连接；难以有效总结大量文本并处理包含噪声和无关内容的检索信息。
SLM（如 Phi-3.5-mini）与 LLM（如 gpt-4o-mini）相比，表现出明显的局限性。虽然两者都能识别基础实体（如'HOUSE RULES'），但 SLM 的描述往往缺乏细节，未能捕捉到原始文本中的规则和目的。在回答阶段，SLMs 在广泛上下文中难以定位相关信息，常常被无关内容分散注意力。
为了突破这些局限性，MiniRAG 提出了一种数据索引机制，生成语义感知的异构图。该图结合了文本块和命名实体，创建语义网络，便于精确的信息检索。在异构图中，节点包括两种类型：
这种双节点设计使数据块直接参与检索，确保识别出最相关的上下文内容，缓解 SLMs 总结能力有限带来的信息失真。
节点之间的连接边分为两种：
例如，在为一篇关于 2024 年巴黎奥运会旅行计划的文档建立索引时，模型会在场地位置、活动日程、交通选项和附近景点之间建立实体 - 实体连接，同时创建实体 - 块连接，将这些实体与相关文本段链接起来。通过语言模型生成的语义描述增强了知识图中的每条边。对于每条连接实体与其对应块的边，生成一个描述，作为该边的补充信息。该描述提供了实体的详细内容，并反映了实体与相关块之间的语义关系。
在设备上的 RAG 系统中，设备计算能力和数据隐私的限制使得无法使用强大的模型，如大型语言模型和高级文本嵌入模型，因此需要依赖较小的替代方案。当前 RAG 在计算嵌入相似性时，依赖 LLMs 来全面理解文本语义。SLMs 往往难以捕捉长文本中的精确语义细微差别，使准确匹配变得复杂。
MiniRAG 提出了一种基于图的知识检索机制，有效利用了索引阶段构建的语义感知异构图，结合轻量级文本嵌入，实现了高效的知识检索。通过基于图的搜索设计，减轻了与大型语言模型进行精确语义匹配的负担，以低计算成本获取丰富且准确的文本内容，从而增强了语言模型生成精确响应的能力。
在检索阶段，用户输入查询的主要目标是从索引数据中识别与查询相关的元素（如文本块），以帮助模型生成准确响应。识别的第一步需要解析查询并将其与索引数据对齐。
一些其他 RAG 方法利用 LLMs 扩展或分解查询为细粒度查询，从而增强查询与索引数据的匹配。但是，这一过程依赖 LLMs 从查询中提取高质量抽象信息，这对小型语言模型来说比较困难。因此，在 MiniRAG 的检索过程中，利用实体提取——这对小型语言模型来说是一个简单且有效的任务——来促进查询的分解和索引数据（即语义感知的异构图）的匹配。
对于给定的查询，从两阶段实体处理流程开始：
在语义感知的异构图中，通过智能查询引导机制构建推理路径。对于任何输入查询，模型通过联合考虑两个关键方面来识别相关文本块：
系统化的相关推理路径发现过程包括以下步骤：
这个轻量级框架在保持高效率的同时确保了语义准确性，特别适合边缘计算场景。
为了解决 SLMs 在知识检索中的局限性，提出了一种拓扑感知的检索方法，有效结合了异构知识图谱的语义和结构信息。传统方法依赖语义理解有限的 SLMs，容易在检索过程中引入噪声。
MiniRAG 通过两阶段过程克服了这些挑战，协同利用嵌入相似性和图谱拓扑结构：
通过整合实体相关性分数、结构重要性指标和路径连接模式，MiniRAG 在保持计算效率的同时，显著提升了知识检索的精度，为生成任务提供了更准确和可解释的推理路径。
关键步骤包括：
集成增强生成：通过拓扑增强图检索和多阶段过滤，获得了查询相关图谱知识的两个关键组件：
现有 RAG 系统在 SLM 下的性能下降明显。当前 RAG 系统在使用小型语言模型 (SLM) 时面临严峻挑战，暴露出其架构的根本性脆弱性。基于高级 LLM 的 RAG 方法性能大幅下降，LightRAG 的准确率从 56.90% 骤降至 35.42%，而 GraphRAG 因无法生成高质量内容而完全失效。尽管 NaiveRAG 等基础检索系统表现出一定韧性，但它们功能有限，缺乏高级推理能力。
现有高级系统对复杂语言能力的过度依赖导致在使用简单模型时出现根本性故障，这在资源受限的环境中构成了广泛采用的重要障碍。
相比之下，MiniRAG 性能非常稳定。MiniRAG 即使在简单语言模型下也能保持强劲性能，特别适合资源受限的环境，同时保留了 RAG 系统的核心功能。此外，MiniRAG 在保持高准确率的同时展示了卓越的存储效率。MiniRAG 在仅需 25% 的存储空间的情况下实现了优于 LightRAG 等基线的准确率。这种存储需求的显著减少，加上保持或提高的准确率，代表了高效 RAG 系统设计的重大进步。
将 MiniRAG 与几种变体进行对比，这些变体分别进行了：
作者发现，当用文本语义驱动索引技术替换 MiniRAG 的索引方法时，性能显著下降。验证了关于小型语言模型 (SLM) 及其固有局限性的初始假设——特别是它们在全面语义理解方面的限制，这影响了生成具有实体关系的复杂知识图以及创建相应的全面文本描述。
移除边缘信息或块节点都会显著影响系统性能。这些元素具有双重目的：通过查询引导推理路径发现促进有效的查询匹配，同时在数据索引阶段补偿 SLM 的固有局限性。
在实际部署 MiniRAG 时，开发者需要注意以下几点：
未来，随着小型语言模型能力的进一步提升，MiniRAG 有望在更多端侧设备上实现本地化部署，无需联网即可处理复杂的知识问答任务，这将极大地提升数据隐私保护和响应速度。
MiniRAG 通过引入异构图索引和轻量级图检索机制，成功解决了小型语言模型在 RAG 场景中的适配问题。它不仅保持了较高的检索准确率，还显著降低了存储和计算成本。这一框架为资源受限环境下的 AI 应用开发提供了新的思路，证明了通过结构化知识表示可以有效弥补小模型在语义理解上的不足。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
