RAG 实战指南：核心原理、工作流程与常见挑战解析

RAG 实战指南：核心原理、工作流程与常见挑战解析 | 极客日志

RAG 实战指南：核心原理、工作流程与常见挑战解析

2023 年以来，检索增强生成（Retrieval Augmented Generation, RAG）已成为基于大语言模型的人工智能系统中应用最为广泛的架构之一。随着大模型能力的边界不断拓展，对 RAG 应用的性能、检索效率及准确性的研究成为核心技术问题。

本文首先介绍什么是 RAG、为什么需要 RAG，深入剖析 Naive RAG 的工作流程及其存在的挑战，并补充针对常见痛点的优化方案，为构建生产级 RAG 系统提供理论参考。

为什么需要 RAG？

在大模型的快速发展过程中，大家发现仅仅依靠预训练的大语言模型（LLMs）会有诸多制约。以下四点尤为突出：

幻觉问题：LLMs 底层基于概率推理，有时会产生一本正经的胡说八道，编造看似合理但事实错误的内容。
知识缺乏问题：LLMs 的训练数据存在截止时间。例如 ChatGPT-3.5 的训练数据截止于 2021 年，对于之后的事件一无所知，且可能包含过时知识或缺乏特定领域知识。
数据安全问题：企业的经营数据和商业机密至关重要。直接使用公有云大模型可能存在数据泄露风险，私有化部署成本又过高。
可信度问题：不透明、无法追踪的推理过程导致回答缺乏依据，难以满足专业场景的可信度要求。

因此，检索增强生成（RAG）技术应运而生。它通过整合外部知识源，提高 LLMs 生成答案的准确性和可信度，特别适用于知识密集型任务，并允许持续的知识更新和特定领域信息的整合。

RAG 与大模型微调的对比

用户常问，为什么使用 RAG 而不是微调（Fine-tuning）？

数据变动频繁的场景：微调成本高且周期长，RAG 只需更新向量库即可生效。
需要给出出处的场景：RAG 可追溯引用来源，微调后的模型通常无法提供具体出处。
对幻觉敏感的场景：微调无法根除幻觉，RAG 通过上下文约束可降低幻觉概率。
节省 GPU 训练成本：RAG 无需重新训练模型参数，仅需推理算力。

什么是 RAG？

检索增强生成（RAG）是通过整合来自外部知识源的额外信息来改进大语言模型应用能力的一种技术。这种技术能够帮助 LLMs 产生更精确和更能感知上下文的回复，同时减轻幻觉现象。

简短的公式帮你理解 RAG：RAG = 检索 + LLMs

RAG 分为两个主要阶段：索引（Indexing）和检索（Retrieval）。有的地方理解为离线处理和在线处理。

索引阶段（离线）

索引阶段是将文本、图片、音视频等格式的内容进行解析、分割、向量化处理，并最终将向量化后的内容存储到向量数据库。

注：事实上也并非一定向量化，某些场景可以仅使用精确/关键词搜索，具体视场景而定，但一般情况下向量检索是主流。

此阶段的关键步骤包括：

数据清洗：去除无关字符、HTML 标签等。
文档解析：处理 PDF、Word、Markdown 等不同格式。
分块（Chunking）：将长文本切分为适合模型处理的片段。
嵌入（Embedding）：使用 Embedding 模型将文本转换为向量。
存储：存入向量数据库（如 Milvus, Pinecone, FAISS 等）。

检索阶段（在线）

检索阶段主要是将用户提问向量化，然后将向量化的提问去向量数据库中进行相似度查询并返回语义相近的信息，最后将该信息作为上下文发送给大模型。

此阶段涉及：

查询预处理：对输入问题进行清洗或改写。
向量检索：计算查询向量与库中向量的相似度（如余弦相似度）。
重排序（Re-ranking）：对初步检索结果进行精细排序。
上下文组装：将检索到的片段与用户问题组合成 Prompt。

Naive RAG 工作流程

Naive RAG 的典型工作流程包含三个核心环节：索引、检索、生成。

1. Indexing（索引）

索引是 RAG 应用环节的第一步也是关键一步，其处理的质量将直接决定 RAG 应用的性能。

首先对原始数据进行清理和提取，将 PDF、HTML 和 Word 等各种文件格式转换为标准化的纯文本。
其次对文本进行分块（Chunking），这是影响检索效果的重要环节。
最后对 Chunking 的块进行向量化处理，并将其存储到向量数据库中。

2. Retrieval（检索）

检索方式有多种，关键字检索、语义相似检索以及混合检索方式。在实际应用场景中，根据不同的场景选择不同的检索方式，并不一定非要是语义相似度检索。

首先将用户输入的提示词进行向量化处理。
然后在向量数据库中进行相似度搜索，选择 Top-K 数据。
若采用混合检索，还需结合 BM25 等算法结果。

3. Generation（生成）

这个环节相对标准，是大模型正常处理过程。

根据用户提示词 + 相似上下文，通过提示词模板生成一个增强提示词。
发送给 LLMs 进行最终回答生成。

从整个工作流程上看，实现逻辑比较简单，但在 RAG 圈有句名言'一天搭建 RAG，一年上不了线'。这也从另一个角度说明想达到生产级别还是相当困难的。

Naive RAG 存在问题

Naive RAG 在索引、检索和内容生成这三个核心步骤中都存在诸多问题。只有知道了问题才能解决问题。

索引阶段问题

信息提取不完整：文档格式多，解析难度大，数据清洗质量差会导致 RAG 应用失败。
分块大小不合理：切分后上下文语义丢失或者包含不完整的内容，没有考虑到一些重要细节。
索引结构未优化：比如索引类型、索引的大小等问题。
嵌入模型语义表达能力弱：通用 Embedding 模型可能无法捕捉特定领域的语义。

检索阶段问题

查询表述模糊：用户发送的请求不明确，或者嵌入模型表达能力弱，导致无法检索到有价值的信息。
相关性低：外部知识库检索内容与用户提问相关性较低，检索信息的准确率也比较低。
召回率低：无法检索到所有相关段落，从而影响了 LLMs 生成全面答案的能力。
信息冗余：当检索到的多个来源信息时，上下文会包含相似信息，从而导致生成的答案中出现重复内容。
单一检索策略：没有结合不同类型的检索方法或算法，如关键词、语义和向量检索的组合。
复杂问题覆盖不足：面对复杂的问题，基于原始查询的单个检索可能不足以获取足够的上下文信息。

生成阶段问题

上下文整合不佳：过度依赖检索信息，存在生成错误/不当内容的风险，降低响应的质量和可靠性。
回显而非综合：生成模型可能过度依赖增强信息，导致输出只是回显检索到的内容，而不添加有洞察力或综合的信息。

常见痛点与解决方案对照

痛点序号	痛点内容	解决方案
痛点 1	内容缺失	清洗数据 && 精心设计提示词
痛点 2	关键文档被遗漏	HyDE（假设性文档嵌入）和重排序（Rerank）
痛点 3	文档整合长度限制 - 超 LLM 窗口大小	调整检索策略 & 嵌入模型调优
痛点 4	提取困难	数据清洗，提示词压缩，长内容优先排序
痛点 5	格式错误	改进提示词，格式化输出，Pydantic Program
痛点 6	缺乏具体细节	先进的检索策略（从小到大的聚合检索/基于句子窗口/递归式检索）
痛点 7	回答不全面	查询转换（路由/查询改写/细分问题/ReAct 提示）
痛点 8	数据摄取的可扩展性	并行处理，提升处理速度
痛点 9	结构化数据问答	链式思维表格包/混合自洽查询引擎包
痛点 10	从复杂 PDF 提取数据	嵌入式表格检索技术
痛点 11	备用模型策略	Neutrino 路由器 / OpenRouter
痛点 12	LLM 安全	输入过滤与输出审核机制

其中部分痛点源自相关技术论文。对于上述痛点，以下是具体的技术深化方案：

1. 解决内容缺失与关键文档遗漏

HyDE (Hypothetical Document Embeddings)：让模型先生成一个假设的答案，然后用这个假设答案去检索真实文档，往往能匹配到更相关的片段。
重排序（Reranking）：使用 Cross-Encoder 模型对初步检索回来的 Top-K 结果进行精细化打分排序，确保最相关的内容进入上下文。

2. 解决长度限制与细节缺失

Parent-Child Chunking：将文档切分为小块（Child），但检索时保留父块（Parent）的完整上下文，既保证检索精度又保留语义完整性。
Recursive Character Text Splitter：按字符集（如句号、换行符）递归切分，尽量保持语义单元完整。

3. 解决回答不全面与查询模糊

Query Rewriting：利用 LLM 对用户原始问题进行改写，增加背景信息或拆解为子问题。
Multi-hop Retrieval：对于复杂问题，先检索一部分信息，再基于该信息检索下一步所需信息，形成推理链条。
Self-RAG：引入反思机制，让模型判断检索到的内容是否足够，是否需要再次检索。

4. 解决生成质量与幻觉

Prompt Engineering：在 System Prompt 中明确指示'如果不知道请回答不知道'，减少幻觉。
Citation Enforcement：强制模型在回答中标注引用来源的编号，便于验证。

总结

RAG 技术虽然架构相对简单，但要达到生产级的高可用性和高准确性，需要在数据清洗、分块策略、检索算法、重排序机制以及生成控制等多个环节进行精细调优。开发者应充分理解 Naive RAG 的局限性，结合业务场景选择合适的优化策略，如混合检索、查询重写、重排序等，以构建真正可靠的企业级智能问答系统。后续文章将对每一个痛点或存在问题进行详细分析，给出相应的技术解决方案与代码示例。

RAG 实战指南：核心原理、工作流程与常见挑战解析