RAG 技术原理、核心流程与最佳实践指南

1.3 大文本分块（Chunking）

受限于上下文窗口，对大文本进行分治是必要的。

• 规则分割：使用 CharacterTextSplitter 或 RecursiveCharacterTextSplitter，基于字符数或自然段落分割，保留重叠（Overlap）以维持上下文连贯性。
• 结构感知分割：针对特定格式，如 MarkdownTextSplitter, PythonCodeTextSplitter, HTMLHeaderTextSplitter。
• Token 级分割：使用 SentenceTransformersTokenTextSplitter 确保 Token 计数准确。
• 算法分割：基于 BERT 的中文分割模型 nlp_bert_document-segmentation_chinese-base，或基于 NLTK/spaCy 的分词器。
• 总结法：对于超长文本，先利用大模型提取关键摘要再进行索引，适合文档库规模极大的场景。

2. 检索与召回

准备好数据后，检索阶段决定了信息的获取效率。

2.1 常见检索方法

• 向量检索：将 Embedding 存入向量数据库（如 Milvus, Pinecone, ES Vector），发起 Query 时召回 Top-N 相似向量。
• 关键字检索：使用 Elasticsearch/OpenSearch，基于 TF-IDF 或 KNN 算法计算关键词相似度。
• 图数据检索：将数据关系存入 Neo4j/NebulaGraph，适用于社交网络分析、知识图谱关联查询。
• 关系数据库检索：适用于电商推荐、客服场景，从结构化表中筛选信息。
• 搜索引擎：开放域场景常先用搜索引擎填充信息，或采用后置的 ReAct 范式。

2.2 混合检索（Hybrid Search）

单一检索方式往往存在局限。混合策略结合向量检索（语义匹配）与关键字检索（精确匹配），按一定权重排序，能显著提升召回率。

• 策略：加权融合（Weighted Fusion）或重排序（Re-ranking）。

2.3 Query 生成与优化

检索前的 Query 处理直接影响准确率。

• 直接输入：Workflow 场景下，用户输入明确，可直接作为 Query。
• 模板拼装：结合用户画像、上下文、Prompt 设定等信息，格式化后特征化。适用于虚拟社交等复杂场景。
• 小模型生成：为避免模板带入过多噪声导致幻觉，可用轻量级模型总结用户意图后再检索。
• 动态检索：结合 ReAct 范式，根据推理步骤动态调整检索策略。

3. 利用、增强与生成

拿到检索结果后，需将其有效融入生成过程。

3.1 Prompt 上下文拼接

最基础的方式是将检索结果直接拼接在 Prompt 中。

• LangChain 实现：大多数 RAG Chain 默认采用此方式。
• 注意：需控制总 Token 数，避免超出模型上下文限制。

3.2 先拼接，再总结

为节省 Input Token，可先对检索内容进行摘要，再发送给大模型。

• 适用场景：检索结果较多且冗余度高时。
• 实现：通常将摘要模块集成在模型层，配合大量意图识别训练。

4. RAG 典型场景

• Knowledge（知识库）：最常见的用法，用于企业内部文档问答。
• Memory（记忆）：理论上属于 RAG 范畴，用于存储长期对话历史，但常被单独分类。
• 意图识别：利用检索结果作为 Few-shot 辅助，增强 CoT（思维链）能力。
• ReAct：RAG 可作为 Action 的一部分，辅助模型规划任务。

5. 评估与优化

构建 RAG 系统后，需关注以下指标：

• 检索准确率（Recall@K）：相关文档是否出现在 Top-K 结果中。
• 生成质量：回答的准确性、流畅度及事实一致性。
• 幻觉率（Hallucination Rate）：模型编造事实的比例。
• 延迟（Latency）：端到端的响应时间。

优化建议：

1. 引入重排序（Re-ranker）：在粗排后增加精排模型，提升 Top 结果的相关性。
2. 元数据过滤：在检索阶段增加权限、时间等元数据过滤条件。
3. 提示词工程：优化 System Prompt，明确告知模型'若检索内容不足则回答不知道'。

6. 安全与隐私

• 提示词注入：防止用户通过特殊构造的 Query 绕过系统限制。
• 数据脱敏：在入库前对敏感个人信息（PII）进行掩码处理。
• 访问控制：确保检索结果符合用户的权限范围，避免越权访问。

结语

RAG 的思想看似简单，但工程落地涉及数据治理、检索策略、模型调优等多个环节。具体实施需紧密结合业务场景，持续迭代优化。