RAG 及数据增强型 LLM 应用的 4 个任务级别划分与应对策略
通过将外部知识与大语言模型（LLM）的集成，可以显著增强其在特定领域输出的专业性与时效性，有效减少幻觉问题，提高输出的可控性与可解释性。典型的方法如检索增强生成（RAG, Retrieval-Augmented Generation）应用与模型微调（Fine-tuning），都是当前业界常见的技术策略。
尽管随着 RAG 理论与技术的不断进步（如查询转换、融合检索、Agentic RAG、GraphRAG 等），其表现已经愈趋成熟。但在实际应用中，输入任务的复杂性决定了很难存在单一技术可以一劳永逸地解决所有问题。从理解问题到检索数据、LLM 推理等方面仍然存在诸多挑战，而这些挑战往往需要结合多种技术能力以更好地解决问题。
在微软的研究报告《Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely》中，提出了一种对包括 RAG 在内的数据增强型 LLM 应用的查询任务的分层方法。该报告将输入的查询任务根据需求分成了四个层次，对其进行了定义与解析，总结了不同层次的技术挑战与应对方案。本文将对此进行深入学习与理解。
解读 RAG 类应用的 4 个任务级别
根据复杂性与对数据的需求层次，把输入的查询任务分成四个层次，不同的层次具有不同的任务目标、依赖数据、推理能力：
级别 1：基于显式事实的查询（Explicit Fact Queries）
- 定义：此查询级别涉及对给定数据中直接存在的明确事实进行请求，用户希望获得具体、已知的信息，而不需要任何推理或逻辑推演。
- 特点：这是最简单的查询形式，模型的主要任务是识别并提取出数据中清晰明确的事实。比如当用户提出问题时，借助 RAG 技术在数据分块中直接定位与问题相关的显性知识数据并回答。
- 示例：查询'Canberra 的所在国是哪个？'，直接从已知信息中提取出'澳大利亚'这个直接答案。
- 场景：适用于基本的知识问答，如词典定义、时间、地点等。由于查询涉及简单查找、判断与总结，因此模型无需复杂的计算或推理。
级别 2：基于隐式事实的查询（Implicit Fact Queries）
- 定义：此查询涉及在数据中间接寻找事实，答案并非显而易见，通常需要一些常识推理或基础逻辑推理。
- 特点：信息可能分散在多个部分，模型需要将多个线索整合起来形成一个完整的答案。也就是说，通常无法在单一的关联知识中直接找到答案。
- 示例：例如，查询'C-Rag 与 Self-RAG 在技术实现上哪个更复杂'，需要首先学习两者的特点，然后进一步分析两者的区别与技术复杂度。再比如一些基于知识图谱（GraphRAG）的多跳查询问题等。
- 适用场景：适合涉及背景关联和基本逻辑的查询，例如多步信息关联的常识问答场景。
级别 3：基于可解释原理的查询（Interpretable Rationale Queries）
- 定义：此级别查询要求模型理解并应用与事实紧密关联的特定领域的原理，来推理出问题答案。
- 特点：结合事实与特定领域的流程、规则、经验、指南等进行推理与响应，确保响应符合该领域的要求。这些领域的原理通常来自外部资源与上下文，并不直接包含在大模型的初始预训练数据中。
- 示例：
- 合规审计时，参考监管合规指南来评估公司财务数据的合规性。
- 医疗诊断时，参考权威的诊断标准并结合患者症状等进行推理诊断。
- 客户支持时，参考预定的工作流程与规定，以有效处理客户咨询与投诉。
- 适用场景：适用于内容审查、合规审计、技术支持等场景，在这些场景中，模型需要按照既定的规则或流程来确保回答的准确性和逻辑一致性。
级别 4：基于隐藏原理的查询（Hidden Rationale Queries）
- 定义：此级别的查询要求模型基于上下文进行深层次的推理，从数据中揭示出潜在的含义或隐含的复杂原理，进而完成推理任务。
- ：查询涉及未明确记录的深层次原理或逻辑联系，通常需要模型从外部数据中推理出隐含的规则与模式。这些隐藏的原理不仅是隐藏的逻辑本身，还需要首先识别出输入问题所依赖的外部原理。
