编程语言AI算法

Azure AI Search 新功能：查询重写与语义重排器详解

Azure AI Search 最新推出的查询重写（QR）和语义重排器（SR）功能，详细解析了这两个功能如何通过小型语言模型生成查询变体以及利用交叉编码器模型优化结果排序。文章深入阐述了查询重写、召回率及交叉编码器的核心概念，对比了向量查询与交叉编码器在编码方式、效率及应用场景上的差异，并提出了混合搜索配置与渐进式部署的实施建议。这些更新显著提升了 RAG 系统的检索相关性与效率，为开发者构建智能搜索应用提供了强有力的技术支持。

二进制发布于 2025/2/7更新于 2026/4/201 浏览

Azure AI Search 新功能：查询重写与语义重排器详解

Azure AI Search 最近推出了两项重大更新：查询重写（Query Rewriting，QR）和新的语义重排器（Semantic Ranker，SR）。这些新功能大幅提升了检索增强生成（Retrieval-Augmented Generation，RAG）的性能，提高了搜索结果的相关性和效率。在本文中，我们将详细介绍这两项新功能，并深入解释三个关键概念：查询重写、召回率和交叉编码器，并通过示例帮助您更好地理解。

一、Azure AI Search 的新功能

1. 查询重写（Query Rewriting，QR）

主要特点：

基于微调的小型语言模型（SLM）：QR 利用专为低延迟优化的 SLM，能够快速生成查询重写。
生成多种查询变体：针对用户的原始查询，QR 可以生成多达 10 个不同的重写版本，以提高搜索的覆盖面。
提升召回率和搜索相关性：特别是在基于关键词的索引和召回率较低的情况下，QR 能够显著提高搜索结果的相关性，NDCG@3 指标提升了 4 个百分点。
无额外费用：当与语义重排器一起使用时，QR 不会产生额外的成本。

2. 新的语义重排器（Semantic Ranker，SR）

主要特点：

采用交叉编码器模型：新的 SR 使用了强大的交叉编码器模型，对初始召回的前 50 个结果进行重新排序。
显著提升相关性和性能：在 19 种语言的 90 多个数据集上测试，SR 显著提升了搜索结果的相关性。当与 QR 结合使用时，NDCG@3 指标最高提升了 22 个百分点。
降低延迟：新的 SR 模型比之前的模型快了最多 2.3 倍，大大减少了查询处理的延迟时间。
功能更新：包括答案生成、内容摘要和重点突出显示等功能都得到了改进。
自动升级：无需任何配置更改，新的 SR 将于 2024 年 11 月 19 日自动生效。

二、深入理解关键概念

为了更好地理解这些新功能如何提升搜索性能，我们需要先了解以下三个关键概念：查询重写、召回率和交叉编码器。

1. 查询重写（Query Rewriting）

定义：

查询重写是搜索系统在接收到用户的原始查询后，对其进行自动修改、扩展或优化的过程。目的是生成更有效的查询，以便检索到更多相关的结果，提高搜索的召回率和精准度。

作用：

提升召回率：通过生成查询的不同变体，捕获更多可能相关的文档。
处理用户输入问题：纠正拼写错误、语法问题或模糊表达，理解用户的真实意图。
扩展查询语义：添加同义词、相关词或上下文信息，更全面地覆盖用户需求。

示例：

用户原始查询： '新冠疫苗副作用严重吗？'

查询重写后的可能变体：

'新冠疫苗的常见副作用是什么？'
'接种新冠疫苗是否有严重的不良反应？'
'新冠疫苗有哪些副作用？'
'新冠疫苗的安全性如何？'
'接种新冠疫苗会产生哪些不良反应？'

解释：

通过查询重写，搜索系统生成了多个与原始查询语义相近的变体。这些重写的查询可能使用了不同的措辞、同义词或更加具体的描述，使得搜索系统能够检索到更多相关的文档。例如，将"副作用严重吗"重写为"常见副作用是什么"，扩大了检索范围。

2. 召回率（Recall Rate）

定义：

召回率是衡量搜索系统性能的重要指标，表示系统检索到的相关文档数量占所有实际相关文档数量的比例。它反映了系统在检索完整性方面的能力。

计算公式：

召回率 = 检索到的相关文档数量 ÷ 文档库中所有相关文档的总数

示例：

场景：

文档库中共有 200 篇与"机器学习"相关的文章。
用户搜索"机器学习"。
系统返回了 150 篇文章，其中都与"机器学习"相关。

计算召回率：

召回率 = 150 ÷ 200 = 75%

解释：

75% 的召回率意味着系统检索到了 75% 的相关文档，但还有 25%（50 篇）相关文档未被检索到。提高召回率，可以确保用户不遗漏重要的信息。

与精确率的关系：

**精确率（Precision）**表示检索到的相关文档数量占检索到的总文档数量的比例。

权衡关系：通常，提高召回率可能会降低精确率，因为检索更多的文档可能包含一些不相关的内容。实际应用中，需要在召回率和精确率之间取得平衡。

3. 交叉编码器（Cross-Encoder）

定义：

交叉编码器是一种神经网络模型架构，特别适用于评估两个输入文本（如查询和文档）之间的相关性。它将两个输入联合编码，捕获它们之间的细粒度交互，并输出一个相关性评分。

工作原理：

联合编码：将查询和候选文档连接成一个输入序列，输入模型进行处理。
深度交互：模型能够捕获查询和文档之间的词级别互动，理解它们之间的关系。
输出评分：模型输出一个分值，表示查询和文档的相关性高低。

示例：

用户问题： '如何提高植物的光合作用效率？'

候选答案：

答案 A： '增加植物接受的光照强度，可以提高光合作用效率。'
答案 B： '光合作用是植物将二氧化碳和水转化为氧气和葡萄糖的过程。'
答案 C： '植物在高温条件下，光合作用效率可能会下降。'

交叉编码器处理：

输入 1 得分：0.92 输入 2 得分：0.45 输入 3 得分：0.60

输入组合：

输入 1：["如何提高植物的光合作用效率？" + "增加植物接受的光照强度，可以提高光合作用效率。"]
输入 2：["如何提高植物的光合作用效率？" + "光合作用是植物将二氧化碳和水转化为氧气和葡萄糖的过程。"]
输入 3：["如何提高植物的光合作用效率？" + "植物在高温条件下，光合作用效率可能会下降。"]

结果选择：

系统根据得分选取得分最高的答案 A，作为最相关的答案提供给用户。

解释：

交叉编码器通过同时处理查询和文档，能够捕捉二者之间的深层语义关系。例如，它识别到"提高光合作用效率"与"增加光照强度"的直接关联，从而给出高相关性得分。

与双塔模型的区别：

双塔模型（Bi-Encoder）：分别对查询和文档进行独立编码，然后计算向量间的相似度，效率高但可能缺乏精确性。
交叉编码器：联合编码查询和文档，计算复杂度较高，但相关性评估更准确。

三、融合新功能与关键概念

1. 查询重写在 Azure AI Search 中的应用

作用：

提高召回率：通过生成查询的多种变体，QR 能够使搜索系统检索到更多相关文档，尤其是在召回率较低的情况下。
处理复杂查询：对于拼写错误、语法不完整或含有专业术语的查询，QR 能够生成更准确、全面的查询版本。

示例：

用户原始查询： 'AI 搜索新功能是啥？'

QR 生成的查询变体：

"Azure AI Search 新推出的功能有哪些？"
"AI 搜索最新更新是什么？"
"Azure AI 搜索的新特性有哪些？"

效果：

通过这些变体，搜索系统能够检索到关于 Azure AI Search 新功能的更完整的信息，包括查询重写和新的语义重排器的详细介绍。

2. 新的语义重排器与召回率的提升

作用：

精确评估相关性：新的 SR 使用交叉编码器模型，对初始检索到的文档集合进行精细的相关性评估。
提升结果排序：将最相关的文档排在搜索结果的前面，改善用户体验。

与召回率的关系：

初始召回率的提升：通过查询重写，检索到更多相关的候选文档，提高了召回率。
精确率的保证：交叉编码器在重排序时，确保了高相关性的文档位于前列，实现了召回率和精确率的平衡。

示例：

场景：

用户查询："AI 搜索的最新功能有哪些改进？"

流程：

查询重写：生成查询变体，扩大检索范围。
初始检索：系统检索到一批相关和不太相关的文档。
语义重排：使用交叉编码器对前 50 个文档进行重排序。

结果：

用户在搜索结果的顶部看到最相关的文档，详细介绍了查询重写和新的语义重排器功能，以及它们如何提升 Azure AI Search 的性能。

3. 交叉编码器在新语义重排器中的应用

作用：

提升相关性评估精度：交叉编码器模型能够深入理解查询和文档之间的语义关系，提供更精确的相关性评分。
支持多语言、多行业：新的 SR 模型在多语言和多行业的数据集上进行了训练，适用于广泛的应用场景。

示例：

多语言支持：

用户用法语查询："Quelles sont les nouvelles fonctionnalités d'Azure AI Search ?"

系统能够准确检索并排序法语的相关文档，提供一致的高质量搜索体验。

四、向量查询与交叉编码器的结合使用

1. 向量查询（Vector Search）

工作原理：

双塔模型（Bi-Encoder）：
- 独立编码：在向量查询中，使用双塔模型分别对查询和文档进行编码。也就是说，查询和文档通过相同或不同的编码器各自生成自己的向量表示（Embedding）。
- 相似度计算：将查询向量和文档向量进行相似度计算，常用的度量方法包括余弦相似度（Cosine Similarity）、欧式距离（Euclidean Distance）等。

特点：

高效率：
- 预计算文档向量：由于文档集通常是固定的，文档的向量表示可以提前计算并存储起来。
- 快速检索：查询时，只需对查询进行编码，然后在向量空间中进行近似邻近搜索（Approximate Nearest Neighbor Search），即可快速找到与查询向量相似的文档向量。
交互性有限：
- 缺乏深度交互：因为查询和文档是独立编码的，模型无法捕获它们之间的细粒度交互信息。
- 可能影响准确性：在某些需要深度语义理解的场景下，向量查询的效果可能不如交叉编码器。

适用场景：

初始检索阶段：在大型文档库中，快速检索出一批与查询相关的候选文档。

例子：

查询：'机器学习中的优化算法'

过程：

文档预处理：对所有文档进行编码，得到文档向量，并存储。
查询编码：将查询"机器学习中的优化算法"编码为查询向量。
相似度计算：计算查询向量与所有文档向量的相似度，找到最相似的前 N 个文档。

2. 交叉编码器（Cross-Encoder）

工作原理：

联合编码：
- 查询 - 文档对编码：交叉编码器接收查询和文档的组合，将它们拼接成一个输入序列（通常是将查询和文档用特殊的分隔符连接）。
- 深度交互：模型在编码时，可以捕获查询和文档之间的深层次交互和依赖关系。
相关性评分：模型输出一个评分，直接表示查询和文档之间的相关性。

特点：

高准确性：
- 深度语义理解：由于模型能够同时看到查询和文档的全部内容，能捕获更丰富的语义信息和细节匹配。
- 优秀的相关性评估：在重排序任务中，交叉编码器通常能比双塔模型提供更准确的相关性判断。
计算成本高：
- 无法预计算：因为相关性评分依赖于特定的查询 - 文档对，文档的编码无法提前计算。
- 低效率：对于大量的查询 - 文档对，计算成本非常高，不适合实时处理大量数据。

适用场景：

重排序阶段：对初始检索到的一小部分候选文档进行精细的相关性评估和排序。

例子：

查询：'机器学习中的优化算法'

候选文档：经过初始检索，得到 50 篇相关的文档。

过程：

构建查询 - 文档对：将查询和每个候选文档分别组合，形成 50 个查询 - 文档对。
模型计算：交叉编码器对每个查询 - 文档对进行处理，输出相关性评分。
重排序：根据评分，对候选文档进行排序，将最相关的文档排在前面。

3. 两者的主要区别

编码方式不同：
- 向量查询（双塔模型）：查询和文档独立编码，结果是两个向量。
- 交叉编码器：查询和文档联合编码，结果是一个相关性评分。
效率与性能的权衡：
- 向量查询：效率高，适合处理大规模数据，但可能牺牲一定的准确性。
- 交叉编码器：准确性高，能更好地捕获细节，但计算效率低。
预计算能力：
- 向量查询：文档向量可以预计算，支持快速检索。
- 交叉编码器：需要实时计算，无法预先处理。
应用阶段不同：
- 向量查询：多用于初始检索，快速筛选出一批候选文档。
- 交叉编码器：多用于重排序，对候选文档进行精细评估。

4. 为什么需要结合使用？

在实际的搜索和信息检索系统中，为了兼顾效率和准确性，通常会将向量查询和交叉编码器结合使用：

第一步：初始检索

使用向量查询快速检索出与查询相关的一批候选文档（例如前 100 个）。利用预计算的文档向量，实现高效的检索。

第二步：精细重排序

对候选文档，使用交叉编码器进行精细的相关性评估。由于候选文档数量有限，计算成本可控。提高结果的准确性和相关性，使最符合用户需求的文档排在前面。

5. 举例说明区别

假设场景：

用户查询：'深度学习模型的优化技术有哪些？'

向量查询处理：

查询编码：将查询编码为向量 Q。
文档向量库：所有文档已提前编码为向量集合 {D1, D2, …, Dn}。
相似度计算：计算 Q 与所有 Di 的相似度。
初始结果：选出相似度最高的前 100 篇文档。

交叉编码器处理：

构建查询 - 文档对：将查询与初始结果中的 100 篇文档分别组合，形成 100 个查询 - 文档对。
相关性评估：交叉编码器对每个对进行计算，输出相关性评分。
结果重排序：根据评分，对文档进行排序，最相关的文档排在前面。

区别总结：

向量查询：
- 优势：处理速度快，适合大规模初始检索。
- 劣势：可能无法捕获查询和文档之间的细节匹配。
交叉编码器：
- 优势：能够深度理解查询和文档的关系，提高相关性评分的准确性。
- 劣势：计算成本高，不适合处理大量数据。

6. 总结

虽然向量查询和交叉编码器都是用来评估查询和文档之间的相关性，但它们在处理方式、计算效率和应用场景上有明显的区别。

向量查询：

通过独立编码查询和文档，实现快速、高效的初始检索。适用于需要高检索速度的场景，能够处理大规模的文档库。

交叉编码器：

通过联合编码查询和文档，捕获深度语义关系，提供高精度的相关性评估。适用于对少量候选文档进行精细重排序的场景。

因此，在实际应用中，两者常常结合使用，发挥各自的优势，既保证了检索的效率，又提高了结果的准确性。

五、实施建议与最佳实践

为了最大化 Azure AI Search 新功能的价值，开发者和架构师可以参考以下实施建议：

1. 渐进式部署策略

建议在非核心业务场景中先行试点。可以先启用查询重写功能，观察其对召回率的影响，再逐步引入语义重排器。这种分阶段的方式有助于监控性能变化并及时调整参数。

2. 混合搜索配置

结合关键词搜索、向量搜索和语义重排器。对于结构化数据，关键词搜索依然有效；对于非结构化文本，向量搜索能提供更好的语义理解。最终通过语义重排器统一排序，确保结果质量。

3. 监控与反馈机制

建立完善的搜索日志分析系统。重点关注 NDCG 指标的变化，以及用户点击行为。如果某些查询的重写结果导致相关性下降，应收集这些案例用于后续模型微调或规则优化。

4. 成本控制

虽然查询重写与语义重排器结合使用无额外费用，但交叉编码器的计算资源消耗依然存在。建议限制参与重排的候选文档数量（如前文提到的 50 个），以平衡性能与成本。

六、总结与展望

提升用户体验：

更全面的搜索结果：通过查询重写和召回率的提升，用户可以获取更丰富的相关信息。
更精准的结果排序：新的语义重排器确保了最相关的结果出现在前面，节省用户时间。

技术优势：

低延迟高性能：优化的模型在提高性能的同时，降低了查询处理的延迟。
自动化升级：无需额外配置，新功能将自动生效，降低了维护成本。

对开发者的意义：

更强大的工具：开发者可以利用这些新功能，构建更高效、更智能的搜索和问答应用。
适应性强：在多语言、多行业的场景中，这些功能都能够发挥作用，满足不同客户的需求。

结语：

Azure AI Search 的查询重写和新的语义重排器功能，为搜索和信息检索领域带来了显著的提升。通过深入理解查询重写、召回率和交叉编码器等关键概念，我们可以更好地利用这些工具，提升搜索系统的性能，为用户提供卓越的体验。

Azure AI Search 新功能：查询重写与语义重排器详解

Azure AI Search 新功能：查询重写与语义重排器详解

一、Azure AI Search 的新功能

1. 查询重写（Query Rewriting，QR）

2. 新的语义重排器（Semantic Ranker，SR）

二、深入理解关键概念

1. 查询重写（Query Rewriting）

2. 召回率（Recall Rate）

3. 交叉编码器（Cross-Encoder）

三、融合新功能与关键概念

1. 查询重写在 Azure AI Search 中的应用

2. 新的语义重排器与召回率的提升

3. 交叉编码器在新语义重排器中的应用

四、向量查询与交叉编码器的结合使用

1. 向量查询（Vector Search）

2. 交叉编码器（Cross-Encoder）

3. 两者的主要区别

4. 为什么需要结合使用？

5. 举例说明区别

6. 总结

五、实施建议与最佳实践

1. 渐进式部署策略

2. 混合搜索配置

3. 监控与反馈机制

4. 成本控制

六、总结与展望

更多推荐文章

相关免费在线工具

Azure AI Search 新功能：查询重写与语义重排器详解

Azure AI Search 新功能：查询重写与语义重排器详解

一、Azure AI Search 的新功能

1. 查询重写（Query Rewriting，QR）

2. 新的语义重排器（Semantic Ranker，SR）

二、深入理解关键概念

1. 查询重写（Query Rewriting）

2. 召回率（Recall Rate）

3. 交叉编码器（Cross-Encoder）

三、融合新功能与关键概念

1. 查询重写在 Azure AI Search 中的应用

2. 新的语义重排器与召回率的提升

3. 交叉编码器在新语义重排器中的应用

四、向量查询与交叉编码器的结合使用

1. 向量查询（Vector Search）

2. 交叉编码器（Cross-Encoder）

3. 两者的主要区别

4. 为什么需要结合使用？

5. 举例说明区别

6. 总结

五、实施建议与最佳实践

1. 渐进式部署策略

2. 混合搜索配置

3. 监控与反馈机制

4. 成本控制

六、总结与展望

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具