RAG 应用落地面临格式错误、内容缺失、检索排名低、上下文整合限制、答案提取失败、回答宽泛及不全面、数据处理能力不足等八大痛点。针对格式问题可通过精准 Prompt、输出解析器及 Pydantic 模式规范；内容缺失需优化数据源与提示词引导模型承认未知；检索问题涉及重排序、调整 chunk 参数及微调 Embedding 模型；上下文整合与答案提取依赖清理数据、压缩长文本及重排节点；回答质量提升需结合高级检索策略与查询优化技术如 HyDE；数据处理则利用并行管道加速。本文基于 LlamaIndex 框架提供具体代码示例与解决方案。
受 Barnett 等人所著的《Seven Failure Points When Engineering a Retrieval Augmented Generation System》一文启发，本文将探讨其中提到的几个关键问题。更重要的是，我们将深入探讨如何应对这些 RAG 系统中的挑战，以便在日常开发中更好地解决这些问题。
当我们告诉计算机以某种特定格式（比如表格或 JSON）来整理信息，但大型语言模型（LLM）没能按照预期输出。为了更好地引导计算机理解我们的需求，我们可以通过以下方法来确保得到想要的格式：
让指令更加明确。
简化问题并突出关键词。
提供示例。
循环提问，不断细化问题。
为任何查询提供格式化指南。
对计算机的回答进行'解析'。
LlamaIndex 支持与其他框架如 Guardrails 和 LangChain 提供的输出解析模块集成。
Guardrails: https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/output_parser.html#guardrails
具体使用方法，可参考：https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/output_parser.html
from llama_index import VectorStoreIndex, SimpleDirectoryReader
from llama_index.output_parsers import LangchainOutputParser
from llama_index.llms import OpenAI
from langchain.output_parsers import StructuredOutputParser, ResponseSchema
# 加载文档，构建索引
documents = SimpleDirectoryReader("../paul_graham_essay/data").load_data()
index = VectorStoreIndex.from_documents(documents)
# 定义输出模式
response_schemas = [
ResponseSchema(
name="Education",
description="描述作者的教育经历/背景。",
),
ResponseSchema(
name="Work",
description="描述作者的工作经验/背景。",
),
]
# 定义输出解析器
lc_output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
output_parser = LangchainOutputParser(lc_output_parser)
# 将输出解析器附加到 LLM
llm = OpenAI(output_parser=output_parser)
# 获得结构化响应
from llama_index import ServiceContext
ctx = ServiceContext.from_defaults(llm=llm)
query_engine = index.as_query_engine(service_context=ctx)
response = query_engine.query("作者成长过程中做了哪些事情？")
print(str(response))
Pydantic 程序是一个多用途框架，它可以把输入的文字串转换成结构化的 Pydantic 对象。LlamaIndex 提供了多种 Pydantic 程序：
具体使用方法，请参考 OpenAI 的 Pydantic 程序示例代码 https://docs.llamaindex.ai/en/stable/examples/output_parsing/openai_pydantic_program.html 更多信息请查阅 LlamaIndex 的 Pydantic 程序文档，并可以访问不同程序的笔记本/指南链接 https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/pydantic_program.html
from pydantic import BaseModel
from typing import List
from llama_index.program import OpenAIPydanticProgram
# 定义输出架构（不带文档字符串）
class Song(BaseModel):
title: str
length_seconds: int
class Album(BaseModel):
name: str
artist: str
songs: List[Song]
# 定义 openai pydantic 程序
prompt_template_str = """
生成一个示例专辑，其中包含艺术家和歌曲列表。
以电影 movie_name 为灵感
"""
program = OpenAIPydanticProgram.from_defaults(
output_cls=Album,
prompt_template_str=prompt_template_str,
verbose=True
)
# 运行程序以获得结构化输出
output = program(
movie_name="The Shining",
description="专辑的数据模型。"
)
OpenAI 的 JSON 模式允许我们设置 response_format 为 { 'type': 'json_object' }，以此激活响应的 JSON 模式。一旦启用了 JSON 模式，计算机就只会生成能够被解析为有效 JSON 对象的字符串。尽管 JSON 模式规定了输出的格式，但它并不确保输出内容符合特定的规范。想了解更多，请查看 LlamaIndex 关于 OpenAI JSON 模式与数据提取功能调用的文档。
当实际答案不在知识库中时，RAG 系统往往给出一个貌似合理却错误的答案，而不是承认无法给出答案。这导致用户接收到误导性信息，造成错误的引导。如何解决内容缺失问题？
1. 优化数据源
'输入什么，输出什么。'如果源数据质量差，比如充斥着冲突信息，那么无论你如何构建 RAG 流程，都不可能从杂乱无章的数据中得到有价值的结果。
2. 改进提示方式
在知识库缺乏信息，系统可能给出错误答案的情况下，改进提示方式可以起到显著帮助。例如，通过设置提示'如果你无法确定答案，请表明你不知道', 可以鼓励模型认识到自己的局限并更透明地表达不确定性。虽然无法保证百分百准确，但在优化数据源之后，改进提示方式是我们能做的最好努力之一。
有时候系统在检索资料时，最关键的文件可能并没有出现在返回结果的最前面。这就导致了正确答案被忽略，系统因此无法给出精准的回答。
即：'问题的答案其实在某个文档里面，只是它没有获得足够高的排名以致于没能呈现给用户'
为了解决这个问题，我们有两种解决思路：
在将检索到的结果发送给大型语言模型（LLM）之前，对结果进行重新排名可以显著提升 RAG 的性能。LlamaIndex 的一个笔记本展示了两种不同方法的效果对比：
chunk_size 和 similarity_top_k 都是用来调控 RAG（检索增强型生成）模型数据检索过程中效率和效果的参数。改动这些参数能够影响计算效率与信息检索质量之间的平衡。
论文中提到了这样一个问题：'虽然数据库检索到了含有答案的文档，但这些文档并没有被用来生成答案。这种情况往往出现在数据库返回大量文档后，需要通过一个整合过程来找出答案'。那么我们的解决方案有哪些呢？
以 LlamaIndex 为例，LlamaIndex 提供了一系列从基础到高级的检索策略，以帮助我们在 RAG 流程中实现精准检索。欲了解所有检索策略的详细分类，可以查阅 retrievers 模块的指南
如果你使用的是开源嵌入模型，对其进行微调是提高检索准确性的有效方法。LlamaIndex 提供了一份详尽的指南，指导如何一步步微调开源嵌入模型，并证明了微调可以在各项评估指标上持续改进性能。（https://docs.llamaindex.ai/en/stable/examples/finetuning/embeddings/finetune_embedding.html）下面是一个示例代码片段，展示了如何创建微调引擎、执行微调以及获取微调后的模型：
finetune_engine = SentenceTransformersFinetuneEngine(
train_dataset,
model_id="BAAI/bge-small-en",
model_output_path="test_model",
val_dataset=val_dataset,
)
finetune_engine.finetune()
embed_model = finetune_engine.get_finetuned_model()
当系统需要从提供的上下文中提取正确答案时，尤其是在信息量巨大时，系统往往会遇到困难。关键信息被遗漏，从而影响了回答的质量。论文中提到：'这种情况通常是由于上下文中存在太多干扰信息或相互矛盾的信息'。如何解决未能提取答案问题呢？
这一痛点再次凸显了数据质量的重要性。我们必须再次强调，干净整洁的数据至关重要！在质疑 RAG 流程之前，务必先要清理数据。
LongLLMLingua 研究项目/论文中提出了长上下文设置中的提示压缩技术。通过将其集成到 LlamaIndex 中，我们现在可以将 LongLLMLingua 作为节点后处理步骤，在检索步骤之后压缩上下文，然后再将其输入大语言模型。以下是一个设置 LongLLMLinguaPostprocessor 的示例代码片段，它利用 longllmlingua 包来执行提示压缩。更多详细信息，请查阅 LongLLMLingua 的完整文档：https://docs.llamaindex.ai/en/stable/examples/node_postprocessor/LongLLMLingua.html#longllmlingua。
from llama_index.query_engine import RetrieverQueryEngine
from llama_index.response_synthesizers import CompactAndRefine
from llama_index.postprocessor import LongLLMLinguaPostprocessor
from llama_index.schema import QueryBundle
node_postprocessor = LongLLMLinguaPostprocessor(
instruction_str="鉴于上下文，请回答最后一个问题",
target_token=300,
rank_method="longllmlingua",
additional_compress_kwargs={
"condition_compare": True,
"condition_in_question": "after",
"context_budget": "+100",
"reorder_context": "sort", # 启用文档重新排序
},
)
retrieved_nodes = retriever.retrieve(query_str)
synthesizer = CompactAndRefine()
# 在 RetrieverQueryEngine 中概述步骤以提高清晰度：
# 处理（压缩）、合成
new_retrieved_nodes = node_postprocessor.postprocess_nodes(
retrieved_nodes, query_bundle=QueryBundle(query_str=query_str)
)
print("\n\n".join([n.get_content() for n in new_retrieved_nodes]))
response = synthesizer.synthesize(query_str, new_retrieved_nodes)
一项研究（https://arxiv.org/abs/2307.03172）发现，当关键信息位于输入上下文的开始或结尾时，通常能得到最好的性能。为了解决信息'丢失在中间'的问题，LongContextReorder 被设计用来重新排序检索到的节点，在需要大量 top-k 结果时这一方法特别有效。以下是如何定义 LongContextReorder 作为您查询引擎构建时节点后处理器的示例代码。
from llama_index.postprocessor import LongContextReorder
reorder = LongContextReorder()
reorder_engine = index.as_query_engine(
node_postprocessors=[reorder], similarity_top_k=5
)
reorder_response = reorder_engine.query("作者见过山姆·奥尔特曼吗？")
有时候，我们得到的回答可能缺少必要的细节或特定性，这通常需要我们进一步提问来获取清晰的信息。有些答案可能过于含糊或泛泛，不能有效地满足用户的实际需求。为此，我们需要采用更高级的检索技巧。
当答案没有达到你所期待的详细程度时，你可以通过提升检索技巧来改善这一状况。以下是一些有助于解决这个问题的先进检索方法：
有时候我们得到的是部分答案，并不是说它们是错误的，但它们并没有提供所有必要的细节，即便这些信息实际上是存在并且可以获取的。比如，如果有人问：'文档 A、B 和 C 中都讨论了哪些主要内容？'针对每份文档分别提问可能会得到更为全面的答案。那么如何解决回答不全面问题呢？
在简单的 RAG 模型中，比较性问题往往处理得不够好。一个提升 RAG 推理能力的有效方法是加入一个查询理解层——也就是在实际进行向量存储查询之前进行查询优化。以下是四种不同的查询优化方式：
关于如何使用假设性文档嵌入（HyDE）这一查询改写技术，您可以参考下方示例代码。在这种方法中，我们首先根据自然语言查询生成一个假设性文档或答案。之后，我们使用这个假设性文档来进行嵌入式查找，而不是直接使用原始查询。具体可以参考：https://python.langchain.com.cn/docs/modules/chains/additional/hyde
在 RAG 技术流程中，处理大量数据时常会遇到一个难题：系统若无法高效地管理和加工这些数据，就可能导致性能瓶颈甚至系统崩溃。这种处理能力上的挑战可能会让数据处理的时间大幅拉长，系统超负荷运转，数据质量下降，以及服务的可用性降低。
LlamaIndex 推出了一种数据处理的并行技术，能够使文档处理速度最多提升 15 倍。下面的代码示例展示了如何创建数据处理流程并设置 num_workers，以实现并行处理。
documents = SimpleDirectoryReader(input_dir="./data/source_files").load_data()
# 创建带有转换的管道
pipeline = IngestionPipeline(
transformations=[
SentenceSplitter(chunk_size=1024, chunk_overlap=20),
TitleExtractor(),
OpenAIEmbedding(),
]
)
# 将 num_workers 设置为大于 1 的值将调用并行执行。
nodes = pipeline.run(documents=documents, num_workers=4)
在开发 RAG 应用时，面临诸多痛点。本文重点分析了八大核心问题及其应对方案：格式错误可通过精准 Prompt 和输出解析器解决；内容缺失需依赖高质量数据源及明确的提示词约束；检索排名问题涉及重排序算法及参数调优；上下文整合限制要求优化检索策略与微调 Embedding 模型；答案提取困难需结合数据清洗与上下文压缩技术；回答宽泛或不全面则需引入高级检索策略与查询优化机制；数据处理能力不足可通过并行管道缓解。每一个痛点都值得深入探讨，开发者应根据实际场景选择合适的技术栈与配置，以确保 RAG 系统的稳定性与准确性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online