PythonAI算法
MiniRAG：轻量级检索增强生成方法与异构图索引技术
MiniRAG 是一种针对小型语言模型优化的检索增强生成系统。它利用语义感知异构图索引和轻量级拓扑增强检索技术，在资源受限环境下实现接近大型语言模型的性能。系统通过构建包含文本块和实体节点的异构图，结合启发式搜索路径发现，有效解决了小模型在多跳推理中的性能退化问题。实验表明，MiniRAG 在合成通信数据和新闻数据集上表现优异，且存储空间需求仅为大型模型的 25%，为边缘设备 AI 应用提供了可行方案。
MiniRAG 是一种针对小型语言模型优化的检索增强生成系统。它利用语义感知异构图索引和轻量级拓扑增强检索技术，在资源受限环境下实现接近大型语言模型的性能。系统通过构建包含文本块和实体节点的异构图，结合启发式搜索路径发现，有效解决了小模型在多跳推理中的性能退化问题。实验表明，MiniRAG 在合成通信数据和新闻数据集上表现优异，且存储空间需求仅为大型模型的 25%，为边缘设备 AI 应用提供了可行方案。
MiniRAG 是一个新型的轻量级检索增强生成（Retrieval-Augmented Generation, RAG）系统，旨在克服小型语言模型（SLM）在资源受限环境中性能不佳的问题。它通过两项创新技术：语义感知异构图索引和轻量级拓扑增强检索，实现了与大型语言模型（LLMs）相当的效果，但仅需后者 25% 的存储空间。此外，该方案提供了一个基准数据集以评估复杂查询场景下的系统表现，并已开源实现和数据集。
MiniRAG 系统通过以下两种核心机制解决在资源受限场景下利用 SLMs 进行 RAG 任务的问题：
MiniRAG 引入了一种语义感知的异构图索引机制，将文本块和命名实体统一在一个结构中，减少对复杂语义理解的依赖。该机制的核心是将数据分为两类节点：
节点之间的边分为两类：
这种结构化的知识表示使得系统即使在 SLMs 能力有限的情况下，也能通过图结构保持鲁棒性和准确性。
MiniRAG 提出了一种基于图的检索方法，利用图结构和启发式搜索模式进行高效的知识发现。该方法包括查询语义映射和拓扑增强图检索两个阶段。
首先，使用小型语言模型从查询中提取相关实体，并使用轻量级句子嵌入模型评估图中所有实体节点的语义相似性。然后，通过智能查询引导机制在图中构建推理路径。这一步骤确保了即使查询简短，也能准确定位到图中的关键节点。
通过嵌入相似性搜索识别种子实体，然后利用异构图结构发现相关的推理路径。通过结合实体特定的相关性评分、结构重要性指标和路径连接模式，实现了高效的检索质量。这种方法不需要高级的语言理解能力，即可平衡多个信息信号。
为了量化检索效果，MiniRAG 定义了以下评分函数：
实体 - 实体连接的相关性评分函数： $$ Score(e_1, e_2) = f(\text{subgraph}(e), \text{embedding}) $$ 其中，$\text{subgraph}(e)$ 表示以边为中心的跳子图，包含从任一端点可达的所有节点和边。该函数评估局部图结构对语义相关性的贡献。
路径发现的综合评分函数： $$ Score(path) = \alpha \cdot Sim(q, e_{start}) + \beta \cdot Importance(path) + \gamma \cdot Connectivity(path) $$ 其中，$Sim(q, e_{start})$ 表示起始节点与查询实体在向量空间中的余弦相似度，$Importance$ 是结构重要性指标，$Connectivity$ 是路径连接模式。这是一个二元指示函数，如果节点出现在路径中则返回 1，否则返回 0。
为了全面评估系统性能，使用了以下数据集：
使用准确率（acc）和错误率（err）作为主要评估指标。
nano vector base 进行向量存储。现有的 RAG 系统在使用 SLMs 时表现出严重的性能退化，例如某些系统在准确率上从 56.90% 下降到 35.42%。MiniRAG 通过语义感知的图索引和拓扑增强的检索方法，显著减少了这种退化，保持了较高的准确率。
通过消融研究，验证了 SLMs 的限制性和查询引导的推理路径发现组件的有效性。去除边信息或文本块节点会显著影响系统性能，证明了异构图结构的必要性。
在复杂的餐厅识别场景中，MiniRAG 通过查询引导的推理路径发现和异构图索引，成功解决了多约束查询问题，而传统 LightRAG 由于 SLMs 的限制未能有效解决。这展示了 MiniRAG 在处理多跳推理时的优势。
这篇论文提出了 MiniRAG 系统，通过创新的异构图索引和轻量级启发式检索机制，有效地整合了基于文本和基于图的 RAG 方法的优势，同时显著减少了语言模型的需求。实验结果表明，即使在使用 SLMs 的情况下，MiniRAG 也能达到与基于 LLMs 的方法相当的性能。
这些贡献为实现私有、高效和有效的设备 RAG 系统迈出了重要一步，为边缘设备 AI 应用开辟了新的可能性，同时保护了用户隐私和资源效率。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online