RAG 应用的核心在于向量 Embedding 模型的选择与评估。文章首先分析了如何根据用例确定模型需求，接着详细介绍了基于 MTEB 排行榜选择通用模型的关键指标，包括任务类型、语言、得分、规模及维度等。随后提供了在自定义数据集上评估模型性能的方法，通过准确率与召回率对比不同模型效果。最后补充了重排序、混合搜索及模型量化等进阶优化策略，旨在帮助开发者在生产环境中构建高效、准确的检索增强生成系统。
向量 Embedding 是目前检索增强生成（RAG）应用程序的核心组件。它们捕获数据对象（如文本、图像等）的语义信息，并将其转换为数字数组表示。在当前的生成式 AI 应用中，这些向量通常由 Embedding 模型生成。如何为 RAG 应用程序选择合适的 Embedding 模型？总体来说，这取决于具体用例以及具体需求。接下来，我们将分步骤详细探讨。
我们基于 RAG 应用程序的需求考虑以下问题：
首先，通用模型是否足以满足需求？ 其次，是否有特定的需求？例如模态（如仅文本或图片，关于多模态 Embedding 选择需参考相关技术文档）、特定领域（如法律、医学、金融等）。
在大多数情况下，针对所需模态，通常优先选择通用模型以降低维护成本。但在垂直领域，专用模型往往能提供更精准的语义理解。
如何选择通用模型呢？HuggingFace 中的 Massive Text Embedding Benchmark（MTEB）排行榜罗列了当前各种专有和开源文本 Embedding 模型。对于每个 Embedding 模型，MTEB 列出了各种指标，包括模型参数、内存占用、Embedding 维度、最大 Token 数量，以及其在检索、摘要等任务中的得分。
在为 RAG 应用程序选择 Embedding 模型时，需要综合考虑以下因素：
在 MTEB 排行榜顶部，我们会看到各种任务选项卡。对于一个 RAG 应用程序，我们通常需要更关注'检索'任务，可以选择 Retrieval 这个选项卡进行筛选。
基于 RAG 应用的数据集语言来选择对应语言的 Embedding 模型。如果数据集包含多语言混合，需选择支持多语言的模型或在预处理阶段进行语言分离。
得分表示模型在特定基准数据集或多个基准数据集上的表现。根据任务的不同，使用不同的评估指标。通常，这些指标的取值范围在 0 到 1 之间，值越高表示性能越好。
这些指标让我们了解模型运行时所需的计算资源。虽然检索性能随着模型规模的增加而提高，但需要注意的是，模型规模也直接影响延迟。此外，较大的模型可能会过拟合，其泛化性能低，从而在生产中表现不佳。因此，我们需要在生产环境中寻求性能和延迟之间的平衡。一般来说，我们可以先从一个小的、轻量级的模型开始，快速构建 RAG 应用原型。在应用的基础流程正常运行之后，再切换到更大、性能更高的模型来对应用做进一步优化。
这是 Embedding 向量的长度。虽然更大的 Embedding 维度可以捕获数据中更细微的细节，但是效果不一定是最佳。例如，我们是否真的需要 8192 维度来处理文档数据呢？可能不需要。另一方面，较小的 Embedding 维度提供了更快的推理速度，并且在存储和内存方面更高效。因此，我们需要在捕获数据内容和执行效率之间寻求良好的平衡。
表示单个 Embedding 的最大 Token 数量。对于常见的 RAG 应用程序，Embedding 较好的分块大小通常是单个段落，此时，最大 Token 为 512 的 Embedding 模型应该足够。然而，在某些特殊情况下，我们可能需要 Token 数量更大的模型来处理更长的文本上下文。
虽然我们可以从 MTEB 排行榜找到通用模型，但我们需要谨慎对待其结果。谨记，这些结果是模型的自我报告，有可能某些模型产生了夸大其性能的分数，因为它们可能在训练数据中包含了 MTEB 数据集，毕竟这些是公开的数据集。另外，模型使用基准的数据集可能无法准确代表我们应用里使用的数据。因此，我们需要在自己的数据集上评估 Embedding 模型。
我们可以从 RAG 应用使用的数据中，生成一个小型标记数据集。我们以如下数据集为例，用于测试不同编程语言描述的相关性：
| Language | Description |
|---|---|
| C/C++ | A general-purpose programming language known for its performance and efficiency. It provides low-level memory manipulation capabilities and is widely used in system/software development, game development, and applications requiring high performance. |
| Java | A versatile, object-oriented programming language designed to have as few implementation dependencies as possible. It is widely used for building enterprise-scale applications, mobile applications (especially Android), and web applications due to its portability and robustness. |
| Python | A high-level, interpreted programming language known for its readability and simplicity. It supports multiple programming paradigms and is widely used in web development, data analysis, artificial intelligence, scientific computing, and automation. |
| JavaScript | A high-level, dynamic programming language primarily used for creating interactive and dynamic content on the web. It is an essential technology for front-end web development and is increasingly used on the server-side with environments like Node.js. |
| C# | A modern, object-oriented programming language developed by Microsoft. It is used for developing a wide range of applications, including web, desktop, mobile, and games, particularly within the Microsoft ecosystem. |
| SQL | A domain-specific language used in programming and managing relational databases. It is essential for querying, updating, and managing data in databases, and is widely used in data analysis and business intelligence. |
| PHP | A server-side scripting language designed primarily for web development. It is embedded into HTML and is widely used for building dynamic web pages and applications, with a strong presence in content management systems like WordPress. |
| Golang | A statically typed, compiled language designed by Google. Known for its simplicity and efficiency, it is used for building scalable and high-performance applications, particularly in cloud services and distributed systems. |
| Rust | A systems programming language focused on safety and concurrency. It provides memory safety without using a garbage collector and is used for building reliable and efficient software, particularly in systems programming and web assembly. |
接下来，我们采用 pymilvus 结合相应的 Embedding 函数对于上述数据集生成相应的向量 Embedding。
def gen_embedding(model_name):
# 假设使用 OpenAI Embedding Function 作为示例
openai_ef = model.dense.OpenAIEmbeddingFunction(
model_name=model_name,
api_key=os.environ["OPENAI_API_KEY"]
)
docs_embeddings = openai_ef.encode_documents(df['description'].tolist())
return docs_embeddings, openai_ef
然后，把生成的 Embedding 存入到 Milvus 的 collection 中。
def save_embedding(docs_embeddings, collection_name, dim):
data = [
{"id": i, "vector": docs_embeddings[i].data, "text": row.language}
for i, row in df.iterrows()
]
if milvus_client.has_collection(collection_name=collection_name):
milvus_client.drop_collection(collection_name=collection_name)
milvus_client.create_collection(collection_name=collection_name, dimension=dim)
res = milvus_client.insert(collection_name=collection_name, data=data)
我们定义查询函数，方便对于向量 Embedding 进行召回。
def query_results(query, collection_name, openai_ef):
query_embeddings = openai_ef.encode_queries(query)
res = milvus_client.search(
collection_name=collection_name,
data=query_embeddings,
limit=4,
output_fields=["text"],
)
result = {}
for items in res:
for item in items:
result[item.get("entity").get("text")] = item.get('distance')
return result
我们采用 OpenAI 的两个 Embedding 模型，text-embedding-3-small 和 text-embedding-3-large，对于如下两个查询进行比较。有很多评估指标，例如准确率、召回率、MRR、MAP、NDCG 等。在这里，我们主要采用准确率和召回率。
准确率（Precision） 评估检索结果中的真正相关内容的占比，即返回的结果中有多少与搜索查询相关。 $$ \text{Precision} = \frac{TP}{TP + FP} $$ 其中，检索结果中与查询真正相关的内容为 True Positives（TP），而 False Positives（FP）指的是检索结果中不相关的内容。
召回率（Recall） 评估从整个数据集中成功检索到相关内容的数量。 $$ \text{Recall} = \frac{TP}{TP + FN} $$ 其中，False Negatives（FN）指的是所有未包含在最终结果集中的相关项目。
auto garbage collection相关项：Java, Python, JavaScript, Golang
| Rank | text-embedding-3-small | text-embedding-3-large |
|---|---|---|
| 1 | ❎ Rust | ❎ Rust |
| 2 | ❎ C/C++ | ❎ C/C++ |
| 3 | ✅ Golang | ✅ Java |
| 4 | ✅ Java | ✅ Golang |
| Precision | 0.50 | 0.50 |
| Recall | 0.50 | 0.50 |
suite for web backend server development相关项：Java, JavaScript, PHP, Python
| Rank | text-embedding-3-small | text-embedding-3-large |
|---|---|---|
| 1 | ✅ PHP | ✅ JavaScript |
| 2 | ✅ Java | ✅ Java |
| 3 | ✅ JavaScript | ✅ PHP |
| 4 | ❎ C# | ✅Python |
| Precision | 0.75 | 1.0 |
| Recall | 0.75 | 1.0 |
在这两个查询中，我们通过准确率和召回率对比了两个 Embedding 模型。我们可以以此为起点，增加数据集中数据对象的数量以及查询的数量，如此才能更有效地评估 Embedding 模型。
在实际生产环境中，仅靠基础 Embedding 往往难以达到最佳效果，建议引入以下优化策略：
向量检索通常速度快但精度有限。引入 Cross-Encoder 进行重排序可以显著提升相关性。流程为：先用 Embedding 模型进行粗排召回 Top-K 结果，再用重排序模型对 Top-K 结果进行精细打分并重新排序。
结合关键词搜索（BM25）和向量搜索。关键词搜索擅长精确匹配术语，向量搜索擅长语义匹配。通过加权融合两者的得分，可以在不同场景下获得更稳健的检索效果。
为了降低推理延迟和显存占用，可以考虑对 Embedding 模型进行量化（Quantization）。INT8 或 INT4 量化通常能在保持大部分精度的前提下大幅减少资源消耗。同时，利用批处理（Batching）和缓存机制也能进一步提升吞吐量。
在选择模型时需权衡 API 调用成本与自建成本。开源模型可私有化部署以节省长期成本，但需承担运维开销；API 模型开发快但按量付费。对于高并发场景，建议进行详细的成本效益分析。
在检索增强生成（RAG）应用中，选择合适的向量 Embedding 模型至关重要。本文阐述了从实际业务需求出发，从 MTEB 选择通用模型之后，采用准确率和召回率对于模型基于特定业务的数据集进行测试，从而选择最合适的 Embedding 模型。同时，介绍了重排序、混合搜索及量化部署等进阶优化手段，进而有效地提高 RAG 应用的召回准确率与系统性能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online