检索增强生成（RAG）技术通过结合外部知识库与大语言模型，有效解决了模型幻觉、知识过时及隐私保护等问题。本文系统梳理了 RAG 的技术演进，涵盖朴素、进阶及模块化三种范式，深入解析检索、增强与生成的核心组件。同时对比了 RAG 与微调策略的适用场景，介绍了上下文相关性、答案忠实性等评估指标，并展望了垂直优化、多模态拓展及生态建设等未来发展方向。
大型语言模型（LLMs）已成为我们生活和工作的重要组成部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。
然而，尽管其能力令人印象深刻，但并非无懈可击。这些模型可能会产生误导性的'幻觉'，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。
在现实世界的应用中，数据需要不断更新以反映最新的发展，生成的内容必须是透明可追溯的，以便控制成本并保护数据隐私。因此，简单依赖于这些'黑盒'模型是不够的，我们需要更精细的解决方案来满足这些复杂的需求。
正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。
一个典型的 RAG 案例如图所示。如果我们向 ChatGPT 询问 OpenAI CEO Sam Altman 在短短几天内突然解雇随后又被复职的事情。
由于受到预训练数据的限制，缺乏对最近事件的知识，ChatGPT 则表示无法回答。RAG 则通过从外部知识库检索最新的文档摘录来解决这一差距。在这个例子中，它获取了一系列与询问相关的新闻文章。
这些文章，连同最初的问题，随后被合并成一个丰富的提示，使 ChatGPT 能够综合出一个有根据的回应。
RAG 的概念首次于 2020 年被提出，随后进入高速发展。RAG 技术的演进历程如图所示，相关研究进展可以明确地划分为数个关键阶段。
在早期的预训练阶段，研究的焦点集中在如何通过预训练模型注入额外的知识，以此增强语言模型的能力。
随着 ChatGPT 的面世，对于运用大型模型进行深层次上下文学习的兴趣激增，这推动了 RAG 技术在研究领域的快速发展。
随着 LLMs 的潜力被进一步开发，旨在提升模型的可控性并满足不断演变的需求，RAG 的研究逐渐聚焦于增强推理能力，并且也探索了在微调过程中的各种改进方法。
特别是随着 GPT-4 的发布，RAG 技术经历了一次深刻的变革。研究重点开始转移至一种新的融合 RAG 和微调策略的方法，并且持续关注对预训练方法的优化。
在 RAG 的技术发展过程中，我们从技术范式角度，将其总结成如下几个阶段：
前文案例中展示了经典的 RAG 流程，也被称为 Naive RAG。 主要包括三个基本步骤：
Naive RAG 在检索质量、响应生成质量以及增强过程中存在多个挑战。 Advanced RAG 范式随后被提出，并在数据索引、检索前和检索后都进行了额外处理。
随着 RAG 技术的进一步发展和演变，新的技术突破了传统的 Naive RAG 检索—生成框架，基于此我们提出模块化 RAG 的概念。
在结构上它更加自由和灵活，引入了更多的具体功能模块，例如查询搜索引擎、融合多个回答等。 技术上将检索与微调、强化学习等技术融合。流程上也对 RAG 模块之间进行设计和编排，出现了多种的 RAG 模式。然而，模块化 RAG 并不是突然出现的，三个范式之间是继承与发展的关系。 Advanced RAG 是 Modular RAG 的一种特例形式，而 Naive RAG 则是 Advanced RAG 的一种特例。
RAG 系统中主要包含三个核心部分，分别是'检索'，'增强'和'生成'。正好也对应的 RAG 中的三个首字母。
想要构建一个好的 RAG 系统，增强部分是核心，则需要考虑三个关键问题：检索什么？什么时候检索？怎么用检索的内容？
在预训练、微调和推理三个阶段中都可以进行检索增强，这决定了外部知识参数化程度的高低，对应所需要的计算资源也不同。
增强可以采用多种形式的数据，包括非结构化的文本数据，如文本段落、短语或单个词汇。此外，也可以利用结构化数据，比如带有索引的文档、三元组数据或子图。 另一种途径是不依赖外部信息源，而是充分发挥 LLMs 的内在能力，从模型自身生成的内容中检索。
最初的检索是一次性过程，在 RAG 发展过程中逐渐出现了迭代检索、递归检索以及交由 LLMs 自行判断检索时刻的自适应检索方法。
除了 RAG，LLMs 主要优化手段还包括了提示工程 (Prompt Engineering)、微调 (Fine-tuning，FT)。 他们都有自己独特的特点。根据对外部知识的依赖性和模型调整要求上的不同，各自有适合的场景。
RAG 就像给模型一本教科书，用于定制的信息检索，非常适合特定的查询。 另一方面，FT 就像一个学生随着时间的推移内化知识，更适合模仿特定的结构、风格或格式。
FT 可以通过增强基础模型知识、调整输出和教授复杂指令来提高模型的性能和效率。 然而，它不那么擅长整合新知识或快速迭代新的用例。RAG 和 FT，并不是相互排斥的，它们可以是互补的，联合使用可能会产生最佳性能。
RAG 的评估方法多样，主要包括三个质量评分：上下文相关性、答案忠实性和答案相关性。
此外，评估还涉及四个关键能力：噪声鲁棒性、拒答能力、信息整合和反事实鲁棒性。
这些评估维度结合了传统量化指标和针对 RAG 特性的专门评估标准，尽管这些标准尚未统一。
在评估框架方面，存在如 RGB 和 RECALL 这样的基准测试，以及 RAGAS、ARES 和 TruLens 等自动化评估工具，它们有助于全面衡量 RAG 模型的表现。
表中汇总了如何将传统量化指标应用于 RAG 评估以及各种 RAG 评估框架的评估内容，包括评估的对象、维度和指标，为深入理解 RAG 模型的性能和潜在应用提供了宝贵信息。
RAG 的发展方兴未艾，还有哪些问题值得进一步去研究？
我们从三个方面进行展望：
垂直优化旨在进一步解决 RAG 当前面临的挑战。
如何将 RAG 不断发展的技术和思想拓展到图片、音频、视频或代码等其他模态的数据中？ 一方面可以增强单一模态的任务，另一方面可以通过 RAG 的思想将多模态进行融合。
RAG 的应用已经不仅仅局限于问答系统，其影响力正在扩展到更多领域。现在，推荐系统、信息抽取和报告生成等多种任务都开始受益于 RAG 技术的应用。与此同时，RAG 技术栈也在井喷。
除了已知的 Langchain 和 LlamaIndex 等工具，市场上涌现出更多针对性的 RAG 工具，例如：用途定制化，满足更加聚焦场景的需求；使用简易化，进一步降低上手门槛的；功能专业化，逐渐面向生产环境。
为了帮助开发者更好地落地 RAG 系统，以下提供基于 Python 的基础实现思路及关键策略。
选择合适的分块大小至关重要。过小的块会丢失上下文，过大的块会降低检索精度。
from langchain.text_splitter import RecursiveCharacterTextSplitter
# 定义分块器
splitter = RecursiveCharacterTextSplitter(
chunk_size=500,
chunk_overlap=50,
separators=["\n\n", "\n", ".", " ", ""]
)
chunks = splitter.split_text(raw_text)
嵌入模型的质量直接影响检索效果。常用的开源模型包括 BERT、Sentence Transformers 系列。
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
embeddings = model.encode(chunks)
结合稠密检索（Dense Retrieval）和稀疏检索（Sparse Retrieval/BM25），可以提高召回率。
# 伪代码示例
query_embedding = model.encode(query)
dense_results = vector_db.search(query_embedding, top_k=5)
bm25_results = bm25_engine.search(query, top_k=5)
final_results = merge_and_rerank(dense_results, bm25_results)
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online