本文介绍了 SIGIR 24 提出的 LARMOR 方法，旨在解决无监督和零样本场景下密集检索器选择的问题。该方法利用大语言模型模拟人类专家行为，为目标语料库生成伪查询、伪相关性判断和伪参考列表，进而评估并排序各类密集检索器。实验在 BEIR 基准的 13 个语料库上进行，结果显示 LARMOR 在 Kendall Tau 和 Delta e 指标上显著优于现有基线方法。文章详细阐述了伪查询生成、伪相关性判断及参考排序列表构建的三个核心步骤，分析了不同 LLM 模型大小及组件消融实验的结果，并探讨了该方法的局限性及未来扩展方向，如混合检索模型适配和提示工程优化。
原文：Leveraging LLMs for Unsupervised Dense Retriever Ranking
地址：https://arxiv.org/abs/2402.04853
代码：https://github.com/ielab/larmor/
出版：SIGIR '24
机构：昆士兰大学、澳大利亚联邦科学与工业研究组织
本文研究的核心问题是：如何在无监督和零样本场景下为特定目标语料库选择最佳的密集检索器（Dense Retriever, DR）。这也是 RAG（检索增强生成）检索增强中重点研究的环节。
想象一个小型法律咨询公司刚刚建立了一个包含数千份法律文件的数据库。他们想要实现一个高效的搜索系统，但面临两个挑战：首先，他们没有足够的资源为这个特定领域的数据集训练一个新的检索模型；其次，他们也没有现成的查询 - 文档相关性标注数据。在这种情况下，如何从现有的预训练密集检索器中选择一个最适合他们数据库的模型就成为了一个关键问题。
本文研究问题的特点和现有方法面临的挑战主要体现在以下几个方面：
总的来说，这个调整非常普遍，基本上现在 RAG 都会有这个痛点。针对这些挑战，本文提出了一种名为'大语言模型辅助检索模型排序'（LARMOR）的方法。
LARMOR 的核心思想是利用大语言模型（LLM）的强大能力来模拟人类专家在评估检索系统时的行为。就像一个法律专家可以根据文档内容构造相关查询并判断检索结果的相关性一样，LARMOR 使用 LLM 为目标语料库生成伪查询、伪相关性判断和伪参考列表。这些生成的数据然后被用来评估和排序各种密集检索器。具体来说，LARMOR 首先从目标语料库中采样一部分文档，并使用 LLM 为每个文档生成多个相关查询。这就像是模拟了可能的用户查询。然后，它使用这些生成的查询来获取各个密集检索器的检索结果。接下来，LARMOR 再次调用 LLM 来为这些检索结果生成相关性判断或重新排序，从而创建伪相关性判断和伪参考列表。最后，基于这些生成的数据，LARMOR 可以计算各种评估指标（如 nDCG 或 RBO）来对密集检索器进行排序。这种方法巧妙地解决了缺乏真实查询和相关性判断的问题，同时也能适应不同领域的目标语料库。它就像是创造了一个'虚拟评估员'，可以为任何给定的语料库生成评估数据并进行检索器选择。
论文提出了一种名为 LARMOR (Large Language Model Assisted Retrieval Model Ranking) 的方法，用于解决密集检索器选择问题。这种方法巧妙地利用了大语言模型 (LLM) 的能力，在没有目标语料库查询和相关性判断的情况下，对密集检索器进行无监督排序。LARMOR 主要包括三个关键步骤：伪查询生成、伪相关性判断和参考排序列表构建，以及密集检索器排序。下面我们将详细介绍这三个步骤。
在实际应用中，我们经常面临这样的情况：有一个目标语料库需要应用密集检索器，但没有相应的查询集。LARMOR 方法的第一步就是解决这个问题，通过生成伪查询来模拟真实的查询场景。
具体来说，论文采用以下步骤生成伪查询：
举个例子，假设我们正在处理一个维基百科文章的集合。对于一篇关于'人工智能'的文章，我们可能会使用这样的提示：'生成一个这篇维基百科文章可以回答的问题。避免生成一般性问题。维基百科页面：{}'。LLM 可能会生成如下查询：
通过这种方式，我们可以为目标语料库生成一组与领域相关的伪查询，这些查询将在后续步骤中用于评估密集检索器的性能。
有了伪查询后，下一步是构建评估密集检索器所需的信号。LARMOR 方法创新性地提出了两种评估信号：伪相关性判断和伪参考排序列表。
为了生成伪相关性判断，LARMOR 采用以下步骤：
举个例子，对于之前生成的查询'深度学习在人工智能发展中起到了什么作用？'，LLM 可能会被要求判断一篇讨论神经网络的文章是否相关。提示可能是这样的：'对于以下查询和文档，判断它们是'高度相关'、'somewhat 相关'还是'不相关'。查询：{} 文档：{}'。
除了生成相关性判断，LARMOR 还提出了生成伪参考排序列表的方法：
具体来说，LLM 可能会被要求：'请根据与查询'深度学习在人工智能发展中起到了什么作用？'的相关性，对以下文档进行排序，最相关的排在前面。'
这两种评估信号的结合为后续的密集检索器排序提供了强有力的支持。
有了伪相关性判断和伪参考排序列表，LARMOR 方法可以对密集检索器进行排序。这个过程分为三个步骤：
使用伪相关性判断进行排序：
使用伪参考排序列表进行排序：
融合两种排序结果：
这个过程可以用一个具体的例子来说明。假设我们有三个密集检索器 A、B、C，需要为一个医学文献库选择最合适的一个。
使用伪相关性判断：
使用伪参考排序列表：
融合结果：最终排序可能是：A > C > B
这个例子展示了 LARMOR 如何综合考虑不同的评估信号，得出一个全面的密集检索器排序结果。
LARMOR 方法的创新之处在于，它完全不依赖目标语料库的真实查询和相关性判断，而是巧妙地利用 LLM 生成所需的评估信号。这使得它能够在零样本场景下，为各种领域的语料库选择最合适的密集检索器。
直觉上，LARMOR 的工作原理类似于模拟考试。我们可以把 LLM 看作是一个经验丰富的教师，它根据目标领域的特点出题（生成伪查询），然后为学生（密集检索器）的答卷（检索结果）打分（生成相关性判断和理想排序）。最后，我们根据这些'模拟考试'的结果来评估哪个'学生'（密集检索器）最适合这个特定的'学科'（目标语料库）。
总的来说，LARMOR 为解决密集检索器选择这一关键问题提供了一种创新且有效的方法，尤其是在缺乏目标语料库标注数据的情况下。这种方法不仅适用于学术研究，也有很大的实际应用价值，可以帮助各种领域的信息检索系统选择最合适的密集检索器，从而提高检索效果。
该论文提出了一种名为 LARMOR 的方法，用于在零样本场景下选择最适合目标集合的密集检索器（Dense Retriever, DR）。实验主要验证 LARMOR 在各种数据集上的性能，并与现有方法进行对比。此外，还探究了 LARMOR 各组件的作用以及不同 LLM 配置对性能的影响。
本论文针对密集检索器 (Dense Retriever, DR) 选择问题，提出了一种名为 LARMOR (Large Language Model Assisted Retrieval Model Ranking) 的无监督方法。LARMOR 利用大语言模型 (LLM) 为目标语料生成伪相关查询、标签和参考列表，然后基于这些生成的信号对 DR 进行排序。实验结果表明，LARMOR 在 13 个 BEIR 集合上显著优于现有的 DR 选择方法，能够准确预测 DR 在零样本场景下的有效性排序。
尽管 LARMOR 展现了强大的性能，但仍有一些值得深入探讨的方向：
LARMOR 代表了利用大模型赋能传统信息检索任务的一个重要方向，即通过生成式 AI 弥补判别式 AI 在数据稀缺场景下的不足。未来，随着多模态大模型的发展，检索器的评估与选择也可能进一步扩展到图文混合检索场景。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
