RAG 检索增强生成技术概览

向量数据库和索引库通常采用近似最近邻（ANN）搜索方法，而非传统的 k-最近邻（kNN）。ANN 通过近似计算定位最近邻，可能在精确度上稍逊于 kNN，但效率更高。

2. 推理阶段 (Retrieval & Generation)

2.1 Retrieval（检索）

2.1.1 Query Transformations（查询转换）

利用 LLM 优化查询措辞，直接影响搜索结果：

• Rephrasing：使用 LLM 重新措辞 query 并再次尝试。
• HyDE（假设性文档嵌入）：使用 LLM 生成假设性响应（答案），该答案用于搜索查询。
• 子查询：将复杂查询分解为子问题。
• Step-back prompting / Multi-query：利用大模型生成多个 query 来检索，然后筛选。

2.1.2 Hybrid Search（混合搜索）

考虑是否仅使用语义搜索，还是结合关键词搜索。选择混合搜索时，需研究如何在稀疏和密集检索方法之间进行有效权重分配。

调整 alpha 参数平衡基于语义的搜索（alpha=1）和基于关键词的搜索（稀疏，alpha=0）的重要性。混合搜索也可将检索实体关系的知识图技术与 Vector Search 相结合，整合多种搜索系统以实现互补。

2.1.3 Advanced Retrieval Strategies

用于检索的块不一定是用于生成的相同块。理想情况是嵌入更小的数据块进行检索，同时检索更广泛的上下文。

• Sentence-window retrieval：检索时不只找相关句子，而是获取该句子前后的相关句子。
• Auto-merging retrieval (Parent Document Retriever)：文档按树状结构组织。查询时找出 k 个叶子块，若 n 个块指向同一父块，则用父块替换它们送给 LLM。

2.1.4 查询构建

自然语言 Query 需转换为检索查询语法：

• Text to Metadata Filter：配备 Metadata Filter 的向量存储使结构化查询能过滤嵌入式非结构化文档。
• Text to SQL：向 LLM 提供自然语言问题及相关表格信息，完成从文本到 SQL 的转换。
• Text to Cypher：知识图谱可对数据关系建模，适合多对多关系或层次结构数据。

2.1.5 Re-ranking Models

使用重排序模型时，可能需要重新调整搜索结果数量及输入到大模型的经过重排序结果数量。与嵌入模型类似，可能需要针对特定应用场景微调重排序模型。Re-rank 是增强现有搜索系统的辅助工具，允许用户将语义相关性集成到现有系统中，无需重大基础设施修改。

2.1.6 Query Routing

接收用户查询后，由大语言模型决定下一步操作。常见做法包括概述查询内容、对特定数据索引搜索，或尝试多种处理方法并将结果合成一个答案。路由过程通过 LLM 实现，结果按预定义格式返回，指导查询到达指定索引。

2.2 Generation（生成）

2.2.1 LLMs

与嵌入模型或重排序模型一样，可根据特定用例对 LLM 进行微调，以合并特定的措辞或语气。

2.2.2 Prompt Engineering

在提示中使用约束条件，例如：

Please base your answer only on the search results and nothing else!
Very important! Your answer MUST be grounded in the search results provided.

此外，在提示中使用**少样本示例（Few-shot Examples）**可以提高完成任务的质量。输入到提示中的上下文数量是需要实验的参数。

Chat Engine

通过查询压缩技术解决对话上下文问题，将聊天历史与用户查询结合：

• Query Compression：检索与用户查询相关的上下文，然后将其与内存缓冲区中的聊天历史一起发送到 LLM。
• History Compression：先压缩查询和历史生成新查询，再检索上下文生成答案。

Response Synthesiser

基于初始查询和检索到的所有上下文生成 Response：

1. 将所有 contexts（超过相关性阈值）与查询连接并一次性输入 LLM。
2. 逐步将检索到的 contexts 分块发送到 LLM，迭代完善答案。
3. 将检索内容总结成符合 Prompt 的形式。
4. 基于不同 contexts 生成多个答案，然后连接或总结。

挑战与未来展望

尽管 RAG 技术显著提升了大模型的应用效果，但仍面临一些挑战：

1. 检索质量：如果检索到的文档不相关，LLM 仍可能产生幻觉。需要不断优化检索策略和重排序模型。
2. 延迟与成本：复杂的检索流程和多次 API 调用会增加响应时间和计算成本。需要在精度和效率之间寻找平衡。
3. 上下文限制：虽然 RAG 扩展了知识边界，但 LLM 本身的上下文窗口限制仍然存在，长文档的处理仍需优化。

未来，随着向量数据库技术的成熟和多模态检索的发展，RAG 将在更多垂直领域实现更深度的应用，成为企业级 AI 解决方案的核心组件之一。

总结

RAG 技术通过将外部知识与大模型结合，有效解决了知识时效性、幻觉和数据安全问题。通过合理的 Pipeline 设计，包括数据清洗、分块、索引构建以及高级检索策略，可以显著提升系统的回答质量。在实际落地中，需要根据具体业务场景选择合适的 Embedding 模型、检索算法和生成策略，并持续监控和优化系统性能。