大型语言模型存在知识滞后、幻觉及数据安全等局限。检索增强生成（RAG）通过引入外部知识库解决这些问题。本文深入解析 RAG 的核心范式演进、关键技术组件如向量数据库与嵌入模型、以及评估体系。涵盖从数据预处理到提示工程的全流程，探讨混合检索、多模态拓展及未来趋势，为构建可信、高效的 AI 应用提供系统指导。
大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。但是当我们将大模型应用于实际业务场景时会发现，通用的基础大模型基本无法满足我们的实际业务需求，主要有以下几方面原因：
：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。
幻觉问题：所有的 AI 模型的底层原理都是基于数学概率，其模型输出实质上是一系列数值运算，大模型也不例外，所以它有时候会一本正经地胡说八道，尤其是在大模型自身不具备某一方面的知识或不擅长的场景。而这种幻觉问题的区分是比较困难的，因为它要求使用者自身具备相应领域的知识。
数据安全性：对于企业来说，数据安全至关重要，没有企业愿意承担数据泄露的风险，将自身的私域数据上传第三方平台进行训练。这也导致完全依赖通用大模型自身能力的应用方案不得不在数据安全和效果方面进行取舍。
正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。RAG 的出现无疑是人工智能研究领域最激动人心的进展之一。
一个典型的 RAG 案例如图所示。如果我们向 ChatGPT 询问 OpenAI CEO Sam Altman 在短短几天内突然解雇随后又被复职的事情。由于受到预训练数据的限制，缺乏对最近事件的知识，ChatGPT 则表示无法回答。RAG 则通过从外部知识库检索最新的文档摘录来解决这一差距。在这个例子中，它获取了一系列与询问相关的新闻文章。这些文章，连同最初的问题，随后被合并成一个丰富的提示，使 ChatGPT 能够综合出一个有根据的回应。
RAG 的概念首次于 2020 年被提出，随后进入高速发展。RAG 技术的演进历程如图所示，相关研究进展可以明确地划分为数个关键阶段。在早期的预训练阶段，研究的焦点集中在如何通过预训练模型注入额外的知识，以此增强语言模型的能力。随着 ChatGPT 的面世，对于运用大型模型进行深层次上下文学习的兴趣激增，这推动了 RAG 技术在研究领域的快速发展。随着 LLMs 的潜力被进一步开发，旨在提升模型的可控性并满足不断演变的需求，RAG 的研究逐渐聚焦于增强推理能力，并且也探索了在微调过程中的各种改进方法。特别是随着 GPT-4 的发布，RAG 技术经历了一次深刻的变革。研究重点开始转移至一种新的融合 RAG 和微调策略的方法，并且持续关注对预训练方法的优化。
在 RAG 的技术发展过程中，我们从技术范式角度，将其总结成如下几个阶段：
前文案例中展示了经典的 RAG 流程，也被称为 Naive RAG。主要包括三个基本步骤：
Naive RAG 在检索质量、响应生成质量以及增强过程中存在多个挑战。Advanced RAG 范式随后被提出，并在数据索引、检索前和检索后都进行了额外处理。通过更精细的数据清洗、设计文档结构和添加元数据等方法提升文本的一致性、准确性和检索效率。在检索前阶段则可以使用问题的重写、路由和扩充等方式对齐问题和文档块之间的语义差异。在检索后阶段则可以通过将检索出来的文档库进行重排序避免'Lost in the Middle'现象的发生。或是通过上下文筛选与压缩的方式缩短窗口长度。
随着 RAG 技术的进一步发展和演变，新的技术突破了传统的 Naive RAG 检索—生成框架，基于此我们提出模块化 RAG 的概念。在结构上它更加自由的和灵活，引入了更多的具体功能模块，例如查询搜索引擎、融合多个回答。技术上将检索与微调、强化学习等技术融合。流程上也对 RAG 模块之间进行设计和编排，出现了多种的 RAG 模式。然而，模块化 RAG 并不是突然出现的，三个范式之间是继承与发展的关系。Advanced RAG 是 Modular RAG 的一种特例形式，而 Naive RAG 则是 Advanced RAG 的一种特例。
RAG 系统中主要包含三个核心部分，分别是'检索'，'增强'和'生成'。正好也对应 RAG 中的三个首字母。想要构建一个好的 RAG 系统，增强部分是核心，则需要考虑三个关键问题：检索什么？什么时候检索？怎么用检索的内容？
在预训练、微调和推理三个阶段中都可以进行检索增强，这决定了外部知识参数化程度的高低，对应所需要的计算资源也不同。
增强可以采用多种形式的数据，包括非结构化的文本数据，如文本段落、短语或单个词汇。此外，也可以利用结构化数据，比如带有索引的文档、三元组数据或子图。另一种途径是不依赖外部信息源，而是充分发挥 LLMs 的内在能力，从模型自身生成的内容中检索。
最初的检索是一次性过程，在 RAG 发展过程中逐渐出现了迭代检索、递归检索以及交由 LLMs 自行判断检索时刻的自适应检索方法。
除了 RAG，LLMs 主要优化手段还包括了提示工程 (Prompt Engineering)、微调 (Fine-tuning，FT)。他们都有自己独特的特点。根据对外部知识的依赖性和模型调整要求上的不同，各自有适合的场景。
RAG 就像给模型一本教科书，用于定制的信息检索，非常适合特定的查询。另一方面，FT 就像一个学生随着时间的推移内化知识，更适合模仿特定的结构、风格或格式。FT 可以通过增强基础模型知识、调整输出和教授复杂指令来提高模型的性能和效率。然而，它不那么擅长整合新知识或快速迭代新的用例。RAG 和 FT，并不是相互排斥的，它们可以是互补的，联合使用可能会产生最佳性能。
完整的 RAG 应用流程主要包含两个阶段：数据准备阶段和应用阶段。
数据提取——>文本分割——>向量化（embedding）——>数据入库。这是一个离线的过程，主要是将私域数据向量化后构建索引并存入数据库的过程。
数据加载：包括多格式数据加载、不同数据源获取等，根据数据自身情况，将数据处理为同一个范式。例如 PDF、Word、Markdown 等格式需要统一转换为纯文本。
数据处理：包括数据过滤、压缩、格式化等。去除无关的页眉页脚、乱码字符，确保文本纯净度。
元数据获取：提取数据中关键信息，例如文件名、Title、时间、作者等，这些信息有助于后续的权限控制和检索过滤。
文本分割主要考虑两个因素：1）embedding 模型的 Tokens 限制情况；2）语义完整性对整体的检索效果的影响。一些常见的文本分割方式如下：
向量化是一个将文本数据转化为向量矩阵的过程，该过程会直接影响到后续检索的效果。目前常见的 embedding 模型如表中所示，这些 embedding 模型基本能满足大部分需求，但对于特殊场景（例如涉及一些罕见专有词或字等）或者想进一步优化效果，则可以选择开源 Embedding 模型微调或直接训练适合自己场景的 Embedding 模型。
| 模型名称 | 描述 | 获取地址 |
|---|---|---|
| ChatGPT-Embedding | ChatGPT-Embedding 由 OpenAI 公司提供，以接口形式调用。 | https://platform.openai.com/docs/guides/embeddings/what-are-embeddings |
| ERNIE-Embedding V1 | ERNIE-Embedding V1 由百度公司提供，依赖于文心大模型能力，以接口形式调用。 | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/alj562vvu |
| M3E | M3E 是一款功能强大的开源 Embedding 模型，包含 m3e-small、m3e-base、m3e-large 等多个版本，支持微调和本地部署。 | https://huggingface.co/moka-ai/m3e-base |
| BGE | BGE 由北京智源人工智能研究院发布，同样是一款功能强大的开源 Embedding 模型，包含了支持中文和英文的多个版本，同样支持微调和本地部署。 | https://huggingface.co/BAAI/bge-base-en-v1.5 |
代码示例：使用 BGE 模型进行向量化
from sentence_transformers import SentenceTransformer
import numpy as np
# 加载模型
model = SentenceTransformer('BAAI/bge-base-zh-v1.5')
# 待编码的文本列表
texts = [
"什么是 RAG 技术？",
"RAG 如何解决大模型幻觉问题？"
]
# 生成向量
embeddings = model.encode(texts, convert_to_numpy=True)
print(embeddings.shape) # 输出形状 (2, 768)
数据向量化后构建索引，并写入数据库的过程可以概述为数据入库过程，适用于 RAG 场景的数据库包括：FAISS、Chromadb、ES、Milvus 等。一般可以根据业务场景、硬件、性能需求等多因素综合考虑，选择合适的数据库。
在应用阶段，我们根据用户的提问，通过高效的检索方法，召回与提问最相关的知识，并融入 Prompt；大模型参考当前提问和相关知识，生成相应的答案。关键环节包括：数据检索、注入 Prompt 等。
常见的数据检索方法包括：相似性检索、全文检索等，根据检索效果，一般可以选择多种检索方式融合，提升召回率。
Prompt 作为大模型的直接输入，是影响模型输出准确率的关键因素之一。在 RAG 场景中，Prompt 一般包括任务描述、背景知识（检索得到）、任务指令（一般是用户提问）等，根据任务场景和大模型性能，也可以在 Prompt 中适当加入其他指令优化大模型的输出。一个简单知识问答场景的 Prompt 如下所示：
【任务描述】
假如你是一个专业的客服机器人，请参考【背景知识】，回
【背景知识】
{content} // 数据检索得到的相关文本
【问题】
石头扫地机器人 P10 的续航时间是多久？
Prompt 的设计只有方法、没有语法，比较依赖于个人经验，在实际应用过程中，往往需要根据大模型的实际输出进行针对性的 Prompt 调优。建议采用 Few-Shot 策略，即在 Prompt 中加入几个高质量的问答示例，引导模型遵循特定格式。
RAG 的评估方法多样，主要包括三个质量评分：上下文相关性、答案忠实性和答案相关性。此外，评估还涉及四个关键能力：噪声鲁棒性、拒答能力、信息整合和反事实鲁棒性。这些评估维度结合了传统量化指标和针对 RAG 特性的专门评估标准，尽管这些标准尚未统一。
在评估框架方面，存在如 RGB 和 RECALL 这样的基准测试，以及 RAGAS、ARES 和 TruLens 等自动化评估工具，它们有助于全面衡量 RAG 模型的表现。表中汇总了如何将传统量化指标应用于 RAG 评估以及各种 RAG 评估框架的评估内容，包括评估的对象、维度和指标，为深入理解 RAG 模型的性能和潜在应用提供了宝贵信息。
RAG 的发展方兴未艾，还有哪些问题值得进一步去研究？我们从三个方面进行展望：
垂直优化旨在进一步解决 RAG 当前面临的挑战：
如何将 RAG 不断发展的技术和思想拓展到图片、音频、视频或代码等其他模态的数据中？一方面可以增强单一模态的任务，另一方面可以通过 RAG 的思想将多模态进行融合。例如，图像检索增强生成（Image-RAG）允许模型根据视觉线索回答问题，这在医疗影像分析和工业质检领域具有巨大潜力。
RAG 的应用已经不仅仅局限于问答系统，其影响力正在扩展到更多领域。现在，推荐系统、信息抽取和报告生成等多种任务都开始受益于 RAG 技术的应用。与此同时，RAG 技术栈也在井喷。除了已知的 Langchain 和 LlamaIndex 等工具，市场上涌现出更多针对性的 RAG 工具，例如：用途定制化，满足更加聚焦场景的需求；使用简易化，进一步降低上手门槛的；功能专业化，逐渐面向生产环境。
未来的 RAG 将不仅仅是线性的检索，GraphRAG（基于图谱的检索增强生成）将成为重要方向。通过将非结构化数据转化为知识图谱，RAG 可以利用图结构的关系推理能力，解决多跳问答（Multi-hop QA）问题。此外，Agent RAG 将赋予检索系统自主规划能力，智能体可以根据任务复杂度自动决定是否需要检索、检索多少次以及如何组合结果，实现真正的自主智能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online