LangChain 向量存储与检索器使用指南

向量存储 (Vector Stores)

向量搜索是将非结构化文本转换为数值向量进行存储和检索的技术。通过嵌入模型（Embedding Model），文本被映射为高维空间中的向量。查询时，将问题也转化为向量，计算相似度以找到最相关的文档。

LangChain 提供了多种向量存储后端，包括内存型（如 Chroma）、云托管型及本地部署型。以下演示使用 Chroma 作为内存向量存储：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(
    documents,
    embedding=OpenAIEmbeddings(),
)

实例化后，可通过多种方式查询：

1. 相似性搜索：根据文本查询返回最相似的文档。
2. 异步查询：支持非阻塞操作。
3. 带分数查询：返回文档及其相似度得分。
4. 向量查询：直接传入向量进行匹配。

示例代码：

# 字符串查询
results = vectorstore.similarity_search("cat")

# 异步查询
async_results = await vectorstore.asimilarity_search("cat")

# 带分数查询
results_with_score = vectorstore.similarity_search_with_score("cat")

# 向量查询
embedding = OpenAIEmbeddings().embed_query("cat")
vector_results = vectorstore.similarity_search_by_vector(embedding)

检索器 (Retrievers)

虽然 VectorStore 功能强大，但它不直接继承自 Runnables，难以直接融入 LangChain 表达式语言（LCEL）。Retriever 接口则标准化了检索行为，支持 invoke 和 batch 等操作，更适合链式调用。

可以通过包装 similarity_search 方法创建自定义检索器：

from typing import List
from langchain_core.runnables import RunnableLambda

retriever = RunnableLambda(vectorstore.similarity_search).bind(k=1)
result = retriever.batch(["cat", "shark"])

更推荐直接使用 as_retriever 方法，它封装了常见的搜索策略：

retriever = vectorstore.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 1},
)

VectorStoreRetriever 支持多种搜索类型，包括默认相似度、最大边际相关性（MMR）以及基于分数的阈值过滤。这有助于在相关性和多样性之间取得平衡。

检索增强生成 (RAG) 集成

检索器可轻松整合到 RAG 应用中，将检索到的上下文与 LLM 提示词结合。以下是一个基于 LCEL 的最简 RAG 链示例：

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

# 初始化 LLM
llm = ChatOpenAI(model="gpt-3.5-turbo-0125")

# 定义提示模板
prompt = ChatPromptTemplate.from_messages([
    ("human", "Answer this question using the provided context only.\n{question}\nContext:\n{context}")
])

# 构建链
rag_chain = {"context": retriever, "question": RunnablePassthrough()} | prompt | llm

# 执行查询
response = rag_chain.invoke("tell me about cats")
print(response.content)

此流程首先通过检索器获取上下文，然后将其填入提示词，最后发送给 LLM 生成回答。这种模式显著提升了大模型回答的准确性和事实依据。

总结

本文详细讲解了 LangChain 中向量存储与检索器的核心用法。通过 Document 管理文本数据，利用 VectorStore 进行向量化存储与检索，并通过 Retriever 接口实现标准化调用。最终结合 LLM 构建了基础的 RAG 应用架构。掌握这些组件是开发高级检索增强应用的基础。