本文详细阐述了检索增强生成（RAG）系统中的 15 种高级优化技术，涵盖预检索、检索、检索后及生成四个阶段。预检索优化包括使用 LLM 提高信息密度、分层索引、假设性问答对生成及去重；检索优化涉及查询重写、HyDE 及查询路由；检索后优化包含重排模型、Prompt 压缩及 Corrective RAG；生成优化则利用思维链、Self-RAG 及微调提升鲁棒性。此外还探讨了微调 Embedding、GraphRAG 及长上下文模型等新兴策略。通过合理组合这些技术，可显著提升 RAG 系统的检索准确性、响应质量及成本效益，减少幻觉并改善用户体验。
检索增强生成（Retrieval-Augmented Generation, RAG）是一种强大的技术架构，它将外部信息检索与生成式 AI 模型相结合，旨在产生更准确、上下文更丰富且事实依据更充分的响应。尽管基础 RAG 系统已能解决部分知识时效性问题，但在实际生产环境中，传统 RAG 常面临信息密度低、检索准确性不足以及生成质量不稳定等挑战。
本文将深入探讨 15 种高级 RAG 技术，涵盖从预检索到生成的全链路优化策略。这些技术旨在提高生成式 AI 系统的输出质量、鲁棒性及整体性能。优化的核心流程通常涉及四个阶段：预检索优化、检索/召回策略优化、检索后优化以及生成优化。
预检索优化的核心在于提高数据索引或知识库中信息的质量和可检索性。由于不同业务场景对数据的依赖性质各异，预检索策略往往需要定制化设计。
在将数据存储至向量数据库前，利用大语言模型（LLM）对原始数据进行清洗、处理和打标至关重要。非结构化数据源（如 PDF、网页抓取内容、音频转录稿）往往包含大量噪声，导致信息密度低下。
问题影响：
解决方案： 使用 GPT-4 等强模型作为事实提取器，从文档中提取关键信息。例如，针对网页数据，原始 HTML 包含大量 CSS 类、导航栏和标签。通过 Prompt 指令让 LLM 仅保留客户查询可能涉及的核心内容，可大幅降低 Token 消耗并提升信噪比。
示例 Prompt 思路：
You are a data processing assistant. Extract meaningful information from the provided text... Output should be text-only separated by paragraphs.
风险提示： 过度压缩可能导致关键细微信息的丢失，需权衡压缩率与信息完整性。
为了解决大规模数据库下的检索效率问题，可采用分层索引策略。这类似于无损压缩与有损压缩的结合。
实施方法： 创建两个索引：
流程： 首先通过摘要索引筛选出相关文档组，缩小搜索范围；随后在该组内使用块索引进行精细检索。这种方法在大型知识库中能显著提升检索速度。
传统 RAG 中，Embedding 对象存在不对称性：存储时是文档（Answer），查询时是用户 Query。这导致语义匹配偏差。
优化策略： 在数据准备阶段，使用 LLM 为每个文档片段生成一系列假设性问题及对应答案。检索时，系统将嵌入生成的'问题'而非原始文本。这样，用户 Query 的 Embedding 与生成的'问题'Embedding 之间的余弦相似度会更高，从而提升召回准确率。
案例： 若文档介绍了某技术特点但未显式提及优缺点，用户问'优缺点'时难以匹配。若预先生成了'该技术优缺点是什么？'的假设问题，则能精准命中。
数据索引中的重复信息既可能有益也可能有害。适量的重复有助于强化记忆，但过度重复会挤占上下文窗口。
实施步骤：
注意： 此方法可能导致从块回溯到原文引用的能力下降，需评估引用需求的重要性。
分块策略直接影响检索效果，最优策略取决于具体场景。建议通过 A/B 测试确定最佳参数。
关键考量因素：
实验结论： 在特定场景下，1000 字符分块配合 200 字符重叠通常表现略优于其他策略，但需结合实际应用验证。
检索优化旨在推理阶段提高搜索性能和结果质量，主要关注如何更精准地定位相关信息。
搜索系统对查询格式敏感。LLM 可作为查询优化器，将自然语言转换为适合搜索引擎的语法。
应用场景：
Articles about Bill Gates or Steve Jobs 优化为 Google 高级搜索语法 "Bill Gates" OR "Steve Jobs" -site:example.com。变体： 查询扩展（Query Expansion），由 LLM 生成多个子查询，适用于混合检索系统（SQL + Vector）。
HyDE 旨在解决查询与文档 Embedding 的不对称问题。与预检索阶段的'假设性问题'不同，HyDE 在检索阶段生成'假设性文档'。
原理： 为用户的问题生成一个假设性的回答片段（约 1000 字符），然后对该片段进行 Embedding 并与知识库中的文档进行比对。假设性文档在语义上通常比简短的用户 Query 更接近真实文档的内容分布。
优势： 在缺乏高质量训练数据的情况下，能显著提升语义检索的召回率。
当系统拥有多个数据源时，查询路由利用 LLM 决定将查询发送到哪个数据库或是否需要进行检索。
决策模式： 并非所有查询都需要 RAG。LLM 可判断：
实现： 在 Prompt 中预定义路由选项，解析 LLM 的输出以执行代码分支。
检索后优化发生在获取候选文档之后、生成最终响应之前。此时目标是剔除噪声，确保输入给 LLM 的信息纯净且相关。
研究表明，不相关但看似相关的文档（Related but Irrelevant）对 RAG 系统危害最大，甚至可能降低准确率超过 67%。
优化策略： 使用交叉编码器（Cross-Encoder）等重排模型对召回的 Top-K 文档进行重新排序。重排模型能更细致地理解 Query 与 Document 之间的细粒度相关性。
位置效应： 将最相关的文档放置在提示词中最靠近查询的位置，可进一步提升 LLM 的性能。
为了适应有限的上下文窗口，需对检索到的内容进行压缩。
工具：
逆向解压： 即使压缩后的提示对人类不可读，GPT-4 等模型仍具备逆向理解或解压的能力。
Corrective RAG 引入一个分类模型（如 T5-Large），在生成前识别检索结果的质量。
工作流程：
生成优化关注改进 LLM 调用过程，使其能更好地利用检索到的上下文。
CoT 提示通过引导模型展示推理过程，增加了在噪声环境下得出正确响应的可能性。
进阶：Chain-of-Noting 微调模型生成'阅读笔记'，对每个检索文档进行连续评估。这允许模型深入分析文档与问题的相关性，再综合构建答案。
Self-RAG 训练模型在生成过程中输出特殊标记（Reflection Tokens）。
机制：
针对 LLM 容易受无关上下文干扰的问题，可通过微调提升其鲁棒性。
实验发现： 仅需约 1000 个样本即可训练模型在面对无关上下文时保持高性能。结合自然语言推理（NLI）模型，可先过滤掉不被前提蕴涵的检索内容，再送入 LLM。
随着技术发展，以下新兴策略也值得关注：
检索增强生成（RAG）系统的发展为对话式 AI 提供了巨大机遇。通过上述 15 种高级技术的组合应用，企业可以显著改善信息密度、检索准确性和用户响应质量。
核心价值：
实施建议： 软件工程师和数据科学家应建立持续的 A/B 测试机制，针对不同业务场景调整上述策略。同时，关注长上下文模型和 GraphRAG 等前沿方向，以保持技术竞争力。
注：本文基于《15 Advanced RAG Techniques from Pre-Retrieval to Generation》及相关研究整理，旨在提供技术参考。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online