本文探讨了在检索增强生成（RAG）应用中实现意图路由的重要性与方法。通过分析不同数据源（向量库、SQL、API）及组件类型（Agent、LLM），阐述了如何利用自然语言路由器将查询分发至合适路径。内容涵盖 LLM 完成路由、函数调用路由、语义路由及逻辑路由等实现方案，并结合 LangChain 与 Semantic Router 库提供代码示例。文章还补充了生产环境中的最佳实践，包括评估监控、容错机制及性能优化，旨在帮助开发者构建更精准、高效的 RAG 系统。
在检索增强生成（RAG）应用程序中，根据用户查询的意图对控制流进行路由，能够显著提升系统的响应质量与效率。我们希望用户交互的数据来源广泛，包括报告、文档、图像、数据库及第三方系统。对于企业级 RAG 应用，用户可能需要与销售、订单、会计等不同业务领域的信息交互。
由于数据源的多样性，信息的存储方式及交互方式也各不相同。部分数据存储在向量数据库中，部分存在于 SQL 关系型数据库，还有些需要通过 API 调用访问位于第三方系统中的数据。此外，针对相同但不同的数据类型，也可以配置不同的向量存储设置以优化特定查询类型。例如，一个向量存储专门用于回答摘要类问题，另一个则针对具体的定向事实查询进行优化。
根据问题性质，我们可能还需要将查询路由到不同的组件类型。例如，将查询传递给 Agent、VectorStore 或直接传递给 LLM 进行处理。甚至可以根据提出的问题自定义提示模板，以适应不同场景的需求。
路由器本质上类似于 If/Else 语句，用于指导查询的控制流。但其特殊性在于，它需要根据自然语言输入做出决定，即基于自然语言描述产生离散输出。由于许多路由逻辑依赖于 LLM 或机器学习算法，这些算法具有不确定性，因此无法保证路由器始终 100% 做出正确选择。然而，通过最佳实践和测试，我们可以利用路由器构建更强大的 RAG 应用。
目前主流的 RAG 和 LLM 框架实现了多种自然语言路由器：
下图展示了不同类型的自然语言路由器及其对应的框架支持。逻辑路由器不依赖理解自然语言意图，而是基于现有离散变量做出选择，例如 Haystack 中的 ConditionalRouter。
这类路由器使用 LLM 的完成调用，要求 LLM 从提示词提供的单词选项列表中返回最能描述查询的单个单词。该单词随后用作 If/Else 条件的一部分来控制应用流程。
以下是一个基于 LangChain 的实现示例。在 LangChain 中编写此类代码相对简单：
from langchain_anthropic import ChatAnthropic
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
# 设置 LLM 链根据查询返回单个单词
llm_completion_select_route_chain = (
PromptTemplate.from_template("""
给定下面的用户问题，将其分类为
有关 `LangChain`、`Anthropic` 或 `Other` 的问题。
请勿使用多个单词进行回答。
<question>
{question}
</question>
Classification:""")
| ChatAnthropic(model_name="claude-3-haiku")
| StrOutputParser()
)
# 设置 IF/Else 条件将查询路由到正确的链
def route_to_chain(route_name):
if "anthropic" == route_name.lower():
return anthropic_chain
elif "langchain" == route_name.lower():
return langchain_chain
else:
return generic_chain
# 在应用程序中使用 LLM 完成链的响应控制流
route_name = llm_completion_select_route_chain.invoke(user_query)
chain = route_to_chain(route_name)
result = chain.invoke(user_query)
这利用了 LLM 的函数调用能力来选择遍历路径。不同的路由被设置为在 LLM 函数调用中具有适当描述的函数。根据传递给 LLM 的查询，它能够返回正确的函数（即路线）。这是大多数 Agent 选择工具的方式，利用函数调用能力根据用户查询为任务选择正确的工具。
语义路由器利用嵌入和相似性搜索来选择最佳遍历路线。每条路线都有一组与其关联的示例查询（称为话语），这些查询被嵌入并存储为向量。传入的查询也会被嵌入，并与路由器的示例查询进行相似性搜索。属于最接近匹配的查询的路线将被选择。
Python 库 semantic-router 提供了相关实现。以下是设置两条路线（政治问题和闲聊）的示例：
from semantic_router import Route
# 政治话题路线
politics = Route(
name="politics",
utterances=[
"isn't politics the best thing ever",
"why don't you tell me about your political opinions",
"don't you just love the president",
"they're going to destroy this country!",
"they will save the country!",
]
)
# 闲聊话题路线
chitchat = Route(
name="chitchat",
utterances=[
"how's the weather today?",
"how are things going?",
"lovely weather today",
"the weather is horrendous",
"let's go to the chippy",
]
)
routes = [politics, chitchat]
# 指定编码器并创建路由层
from semantic_encoder import OpenAIEncoder
from semantic_router.layer import RouteLayer
encoder = OpenAIEncoder()
route_layer = RouteLayer(encoder=encoder, routes=routes)
# 应用查询
result = route_layer("don't you love politics?").name
print(result) # -> 'politics'
语义路由器利用嵌入和相似性搜索，比其他基于 LLM 的路由器更快，因为它只需要处理单个索引查询，而无需调用 LLM 进行推理。
乍一看，路由器和代理之间有很多相似之处，因为代理实际上将路由作为其流程的一部分执行。它们经常利用函数调用来选择正确的工具。不过，路由器是比代理简单得多的组件，通常仅负责将任务路由到正确位置，而不执行与该任务相关的任何逻辑或处理。代理通常负责处理逻辑，包括管理有权访问的工具来完成工作。
在实际部署 RAG 路由系统时，除了选择合适的路由技术外，还需关注以下方面以确保系统的稳定性和准确性：
本文介绍了目前在不同的 RAG 和 LLM 框架中发现的一些不同的自然语言路由器。随着时间的推移，围绕路由的概念、包和库肯定会增加。在构建 RAG 应用程序时，您会发现在某些时候，为了构建对用户有用的应用程序，路由功能确实变得必要。
路由器是这些基本构建块，允许您将应用程序的自然语言请求路由到正确的位置，以便尽可能最好地满足用户的查询。通过合理选择和组合不同的路由策略，开发者可以显著提升 RAG 系统的智能化水平和用户体验。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online