Azure AI Search 新功能：查询重写与语义重排器详解

召回率是衡量搜索系统性能的重要指标，表示系统检索到的相关文档数量占所有实际相关文档数量的比例。它反映了系统在检索完整性方面的能力。

计算公式：

召回率 = 检索到的相关文档数量 ÷ 文档库中所有相关文档的总数

示例：

场景：

• 文档库中共有 200 篇与"机器学习"相关的文章。
• 用户搜索"机器学习"。
• 系统返回了 150 篇文章，其中都与"机器学习"相关。

计算召回率：

召回率 = 150 ÷ 200 = 75%

解释：

75% 的召回率意味着系统检索到了 75% 的相关文档，但还有 25%（50 篇）相关文档未被检索到。提高召回率，可以确保用户不遗漏重要的信息。

与精确率的关系：

**精确率（Precision）**表示检索到的相关文档数量占检索到的总文档数量的比例。

权衡关系：通常，提高召回率可能会降低精确率，因为检索更多的文档可能包含一些不相关的内容。实际应用中，需要在召回率和精确率之间取得平衡。

3. 交叉编码器（Cross-Encoder）

定义：

交叉编码器是一种神经网络模型架构，特别适用于评估两个输入文本（如查询和文档）之间的相关性。它将两个输入联合编码，捕获它们之间的细粒度交互，并输出一个相关性评分。

工作原理：

• 联合编码：将查询和候选文档连接成一个输入序列，输入模型进行处理。
• 深度交互：模型能够捕获查询和文档之间的词级别互动，理解它们之间的关系。
• 输出评分：模型输出一个分值，表示查询和文档的相关性高低。

示例：

用户问题： '如何提高植物的光合作用效率？'

候选答案：

• 答案 A： '增加植物接受的光照强度，可以提高光合作用效率。'
• 答案 B： '光合作用是植物将二氧化碳和水转化为氧气和葡萄糖的过程。'
• 答案 C： '植物在高温条件下，光合作用效率可能会下降。'

交叉编码器处理：

输入 1 得分：0.92 输入 2 得分：0.45 输入 3 得分：0.60

输入组合：

• 输入 1：["如何提高植物的光合作用效率？" + "增加植物接受的光照强度，可以提高光合作用效率。"]
• 输入 2：["如何提高植物的光合作用效率？" + "光合作用是植物将二氧化碳和水转化为氧气和葡萄糖的过程。"]
• 输入 3：["如何提高植物的光合作用效率？" + "植物在高温条件下，光合作用效率可能会下降。"]

结果选择：

系统根据得分选取得分最高的答案 A，作为最相关的答案提供给用户。

解释：

交叉编码器通过同时处理查询和文档，能够捕捉二者之间的深层语义关系。例如，它识别到"提高光合作用效率"与"增加光照强度"的直接关联，从而给出高相关性得分。

与双塔模型的区别：

• 双塔模型（Bi-Encoder）：分别对查询和文档进行独立编码，然后计算向量间的相似度，效率高但可能缺乏精确性。
• 交叉编码器：联合编码查询和文档，计算复杂度较高，但相关性评估更准确。

三、融合新功能与关键概念

1. 查询重写在 Azure AI Search 中的应用

作用：

• 提高召回率：通过生成查询的多种变体，QR 能够使搜索系统检索到更多相关文档，尤其是在召回率较低的情况下。
• 处理复杂查询：对于拼写错误、语法不完整或含有专业术语的查询，QR 能够生成更准确、全面的查询版本。

示例：

用户原始查询： 'AI 搜索新功能是啥？'

QR 生成的查询变体：

• "Azure AI Search 新推出的功能有哪些？"
• "AI 搜索最新更新是什么？"
• "Azure AI 搜索的新特性有哪些？"

效果：

通过这些变体，搜索系统能够检索到关于 Azure AI Search 新功能的更完整的信息，包括查询重写和新的语义重排器的详细介绍。

2. 新的语义重排器与召回率的提升

作用：

• 精确评估相关性：新的 SR 使用交叉编码器模型，对初始检索到的文档集合进行精细的相关性评估。
• 提升结果排序：将最相关的文档排在搜索结果的前面，改善用户体验。

与召回率的关系：

• 初始召回率的提升：通过查询重写，检索到更多相关的候选文档，提高了召回率。
• 精确率的保证：交叉编码器在重排序时，确保了高相关性的文档位于前列，实现了召回率和精确率的平衡。

示例：

场景：

用户查询："AI 搜索的最新功能有哪些改进？"

流程：

1. 查询重写：生成查询变体，扩大检索范围。
2. 初始检索：系统检索到一批相关和不太相关的文档。
3. 语义重排：使用交叉编码器对前 50 个文档进行重排序。

结果：

用户在搜索结果的顶部看到最相关的文档，详细介绍了查询重写和新的语义重排器功能，以及它们如何提升 Azure AI Search 的性能。

3. 交叉编码器在新语义重排器中的应用

作用：

• 提升相关性评估精度：交叉编码器模型能够深入理解查询和文档之间的语义关系，提供更精确的相关性评分。
• 支持多语言、多行业：新的 SR 模型在多语言和多行业的数据集上进行了训练，适用于广泛的应用场景。

示例：

多语言支持：

用户用法语查询："Quelles sont les nouvelles fonctionnalités d'Azure AI Search ?"

系统能够准确检索并排序法语的相关文档，提供一致的高质量搜索体验。

四、向量查询与交叉编码器的结合使用

1. 向量查询（Vector Search）

工作原理：

• 双塔模型（Bi-Encoder）：
  • 独立编码：在向量查询中，使用双塔模型分别对查询和文档进行编码。也就是说，查询和文档通过相同或不同的编码器各自生成自己的向量表示（Embedding）。
  • 相似度计算：将查询向量和文档向量进行相似度计算，常用的度量方法包括余弦相似度（Cosine Similarity）、欧式距离（Euclidean Distance）等。

特点：

• 高效率：
  • 预计算文档向量：由于文档集通常是固定的，文档的向量表示可以提前计算并存储起来。
  • 快速检索：查询时，只需对查询进行编码，然后在向量空间中进行近似邻近搜索（Approximate Nearest Neighbor Search），即可快速找到与查询向量相似的文档向量。
• 交互性有限：
  • 缺乏深度交互：因为查询和文档是独立编码的，模型无法捕获它们之间的细粒度交互信息。
  • 可能影响准确性：在某些需要深度语义理解的场景下，向量查询的效果可能不如交叉编码器。

适用场景：

• 初始检索阶段：在大型文档库中，快速检索出一批与查询相关的候选文档。

例子：

查询：'机器学习中的优化算法'

过程：

1. 文档预处理：对所有文档进行编码，得到文档向量，并存储。
2. 查询编码：将查询"机器学习中的优化算法"编码为查询向量。
3. 相似度计算：计算查询向量与所有文档向量的相似度，找到最相似的前 N 个文档。

2. 交叉编码器（Cross-Encoder）

工作原理：

• 联合编码：
  • 查询 - 文档对编码：交叉编码器接收查询和文档的组合，将它们拼接成一个输入序列（通常是将查询和文档用特殊的分隔符连接）。
  • 深度交互：模型在编码时，可以捕获查询和文档之间的深层次交互和依赖关系。
• 相关性评分：模型输出一个评分，直接表示查询和文档之间的相关性。

特点：

• 高准确性：
  • 深度语义理解：由于模型能够同时看到查询和文档的全部内容，能捕获更丰富的语义信息和细节匹配。
  • 优秀的相关性评估：在重排序任务中，交叉编码器通常能比双塔模型提供更准确的相关性判断。
• 计算成本高：
  • 无法预计算：因为相关性评分依赖于特定的查询 - 文档对，文档的编码无法提前计算。
  • 低效率：对于大量的查询 - 文档对，计算成本非常高，不适合实时处理大量数据。

适用场景：

• 重排序阶段：对初始检索到的一小部分候选文档进行精细的相关性评估和排序。

例子：

查询：'机器学习中的优化算法'

候选文档：经过初始检索，得到 50 篇相关的文档。

过程：

1. 构建查询 - 文档对：将查询和每个候选文档分别组合，形成 50 个查询 - 文档对。
2. 模型计算：交叉编码器对每个查询 - 文档对进行处理，输出相关性评分。
3. 重排序：根据评分，对候选文档进行排序，将最相关的文档排在前面。

3. 两者的主要区别

1. 编码方式不同：
   • 向量查询（双塔模型）：查询和文档独立编码，结果是两个向量。
   • 交叉编码器：查询和文档联合编码，结果是一个相关性评分。
2. 效率与性能的权衡：
   • 向量查询：效率高，适合处理大规模数据，但可能牺牲一定的准确性。
   • 交叉编码器：准确性高，能更好地捕获细节，但计算效率低。
3. 预计算能力：
   • 向量查询：文档向量可以预计算，支持快速检索。
   • 交叉编码器：需要实时计算，无法预先处理。
4. 应用阶段不同：
   • 向量查询：多用于初始检索，快速筛选出一批候选文档。
   • 交叉编码器：多用于重排序，对候选文档进行精细评估。

4. 为什么需要结合使用？

在实际的搜索和信息检索系统中，为了兼顾效率和准确性，通常会将向量查询和交叉编码器结合使用：

第一步：初始检索

使用向量查询快速检索出与查询相关的一批候选文档（例如前 100 个）。 利用预计算的文档向量，实现高效的检索。

第二步：精细重排序

对候选文档，使用交叉编码器进行精细的相关性评估。 由于候选文档数量有限，计算成本可控。 提高结果的准确性和相关性，使最符合用户需求的文档排在前面。

5. 举例说明区别

假设场景：

用户查询：'深度学习模型的优化技术有哪些？'

向量查询处理：

• 查询编码：将查询编码为向量 Q。
• 文档向量库：所有文档已提前编码为向量集合 {D1, D2, …, Dn}。
• 相似度计算：计算 Q 与所有 Di 的相似度。
• 初始结果：选出相似度最高的前 100 篇文档。

交叉编码器处理：

• 构建查询 - 文档对：将查询与初始结果中的 100 篇文档分别组合，形成 100 个查询 - 文档对。
• 相关性评估：交叉编码器对每个对进行计算，输出相关性评分。
• 结果重排序：根据评分，对文档进行排序，最相关的文档排在前面。

区别总结：

• 向量查询：
  • 优势：处理速度快，适合大规模初始检索。
  • 劣势：可能无法捕获查询和文档之间的细节匹配。
• 交叉编码器：
  • 优势：能够深度理解查询和文档的关系，提高相关性评分的准确性。
  • 劣势：计算成本高，不适合处理大量数据。

6. 总结

虽然向量查询和交叉编码器都是用来评估查询和文档之间的相关性，但它们在处理方式、计算效率和应用场景上有明显的区别。

向量查询：

通过独立编码查询和文档，实现快速、高效的初始检索。 适用于需要高检索速度的场景，能够处理大规模的文档库。

交叉编码器：

通过联合编码查询和文档，捕获深度语义关系，提供高精度的相关性评估。 适用于对少量候选文档进行精细重排序的场景。

因此，在实际应用中，两者常常结合使用，发挥各自的优势，既保证了检索的效率，又提高了结果的准确性。

五、实施建议与最佳实践

为了最大化 Azure AI Search 新功能的价值，开发者和架构师可以参考以下实施建议：

1. 渐进式部署策略

建议在非核心业务场景中先行试点。可以先启用查询重写功能，观察其对召回率的影响，再逐步引入语义重排器。这种分阶段的方式有助于监控性能变化并及时调整参数。

2. 混合搜索配置

结合关键词搜索、向量搜索和语义重排器。对于结构化数据，关键词搜索依然有效；对于非结构化文本，向量搜索能提供更好的语义理解。最终通过语义重排器统一排序，确保结果质量。

3. 监控与反馈机制

建立完善的搜索日志分析系统。重点关注 NDCG 指标的变化，以及用户点击行为。如果某些查询的重写结果导致相关性下降，应收集这些案例用于后续模型微调或规则优化。

4. 成本控制

虽然查询重写与语义重排器结合使用无额外费用，但交叉编码器的计算资源消耗依然存在。建议限制参与重排的候选文档数量（如前文提到的 50 个），以平衡性能与成本。

六、总结与展望

提升用户体验：

• 更全面的搜索结果：通过查询重写和召回率的提升，用户可以获取更丰富的相关信息。
• 更精准的结果排序：新的语义重排器确保了最相关的结果出现在前面，节省用户时间。

技术优势：

• 低延迟高性能：优化的模型在提高性能的同时，降低了查询处理的延迟。
• 自动化升级：无需额外配置，新功能将自动生效，降低了维护成本。

对开发者的意义：

• 更强大的工具：开发者可以利用这些新功能，构建更高效、更智能的搜索和问答应用。
• 适应性强：在多语言、多行业的场景中，这些功能都能够发挥作用，满足不同客户的需求。

结语：

Azure AI Search 的查询重写和新的语义重排器功能，为搜索和信息检索领域带来了显著的提升。通过深入理解查询重写、召回率和交叉编码器等关键概念，我们可以更好地利用这些工具，提升搜索系统的性能，为用户提供卓越的体验。