本文介绍了 LangChain 中 Vector Stores 的核心概念与使用方法。内容涵盖向量嵌入原理、相似性搜索（similarity_search）、本地保存与加载（save_local/load_local）、数据库合并（merge_from）及异步操作。详细解析了欧氏距离、余弦相似度等距离策略，并阐述了在 RAG 应用中引入向量存储以提升检索效率和 LLM 输出准确性的必要性。文章还提供了文本切分最佳实践、元数据过滤示例及主流向量库选型对比，帮助开发者构建高效的知识检索系统。
在构建基于大语言模型（LLM）的应用时，Vector Stores（向量存储）是连接语言模型与实际应用数据的关键桥梁。它为构建智能化、高效的语言处理应用提供了强大的基础设施支持，特别是在检索增强生成（RAG）架构中扮演着核心角色。
理解向量存储前需了解向量嵌入（Embeddings）。文本向量化是将非结构化的文本转换成数值向量的过程，这些向量能够在多维空间中捕捉词语或文档之间的语义相似性。常见的嵌入模型如 Word2Vec、BERT、Sentence Transformers 等，可以被用来生成这样的向量。
LangChain 支持多种向量存储后端，开发者可以根据项目需求选择本地部署或云服务：
LangChain 提供了统一的 API 接口来与不同的 Vector Stores 交互，使得开发者无需深入了解每个后端的具体实现细节，即可轻松集成和切换向量存储解决方案，提升了开发效率和灵活性。
LangChain 中向量数据库的使用基本遵循四个标准步骤：加载文档、切分文本、生成嵌入、构建索引。
如果我们使用的 OpenAI 相关的模型，我们可以这么使用：
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.embeddings import OpenAIEmbeddings
from langchain_community.vectorstores import FAISS
# 词嵌入模型
# 这里 openai_api_key 必填，其余的参数选填
embeddings = OpenAIEmbeddings(openai_api_key='xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx')
# 加载文档
text_loader = TextLoader('./index.txt', encoding='utf-8', autodetect_encoding=True)
raw_documents = text_loader.load()
# 文档切割
# chunk_size 控制每段文本长度，chunk_overlap 控制重叠部分以保留上下文
text_splitter = CharacterTextSplitter(chunk_size=150, chunk_overlap=80)
documents = text_splitter.split_documents(raw_documents)
# 使用 FAISS 构建向量数据库
# 注意变量名一致性，此处应为 embeddings
db = FAISS.from_documents(documents=documents, embedding=embeddings)
# 查询与 query 相似的 docs
query = '生活就像巧克力'
docs = db.similarity_search(query)
或者我们也可替换成本地的词嵌入模型，这里我经常用（项目用）的词嵌入模型是 m3e 系列：
from langchain_community.vectorstores.utils import DistanceStrategy
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
from transformers.utils import is_torch_cuda_available, is_torch_mps_available
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
# 词嵌入模型设备选择
EMBEDDING_DEVICE = "cuda" if is_torch_cuda_available() else "mps" if is_torch_mps_available() else "cpu"
embedding = HuggingFaceEmbeddings(
model_name='D:\models\m3e-base',
model_kwargs={'device': EMBEDDING_DEVICE}
)
text_loader = TextLoader('./index.txt', encoding='utf-8', autodetect_encoding=True)
raw_documents = text_loader.load()
text_splitter = CharacterTextSplitter(chunk_size=150, chunk_overlap=80)
documents = text_splitter.split_documents(raw_documents)
# 指定距离策略为余弦相似度
db = FAISS.from_documents(
documents=documents,
embedding=embedding,
distance_strategy=DistanceStrategy.COSINE
)
db.save_local(folder_path='./vector/FAISS.db', index_name='cpm-index')
query = '生活就像巧克力'
docs = db.similarity_search(query)
前面我们通过 similarity_search 做向量相似度查询，也可以通过 similarity_search_with_score 查询结果并返回相似度'分数'，'分数'越低相似度越高（取决于距离策略）。
docs = db.similarity_search_with_score(query='第一行')
# 返回格式为 [(Document, score), ...]
for doc, score in docs:
print(f"Score: {score}, Content: {doc.page_content[:50]}...")
也可以使用 similarity_search_by_vector 搜索与给定嵌入向量类似的文档，它接受嵌入向量作为参数而不是字符串。这在需要将外部向量直接传入时使用。
embedding_vector = OpenAIEmbeddings().embed_query(query)
docs = db.similarity_search_by_vector(embedding_vector)
提示：
similarity_search、similarity_search_with_score的本质还是去调用similarity_search_by_vector，内部会自动完成 query 到 vector 的转换。
如果我们项目使用的是本地向量数据库，那我们就可以指定向量数据库的保存位置，将 FAISS 索引、docstore 和 index_to_docstore_id 保存到本地磁盘。
这样做的好处就是我们可以提前对源数据做向量化处理，后面需要用到的时候直接加载就行，无需再次向量化，节省计算资源和时间。通过 save_local 实现：
db = FAISS.from_documents(documents=documents, embedding=embedding)
db.save_local(folder_path='./vector/FAISS.db', index_name='cpm-index')
加载并使用，通过 load_local 实现：
db = FAISS.load_local(
folder_path='./vector/FAISS.db',
embeddings=embedding,
index_name='cpm-index',
allow_dangerous_deserialization=True # 生产环境请谨慎使用此参数
)
docs = db.similarity_search(query='狮子王', k=1)
有时候我们对元数据做向量化的时候并不是一蹴而就，可能是有源数据的时候就向量化一次，这就可能会导致我们会保存很多 .faiss 文件和 .pkl 文件。这个时候，我们更希望将多个文件进行合并，通过 merge_from 实现：
db1 = FAISS.from_documents(documents=documents, embedding=embedding)
db2 = FAISS.from_documents(documents=documents, embedding=embedding)
# 将 db1 的数据合并到 db2 中
db2.merge_from(db1)
向量存储通常作为单独的服务运行，需要一些 IO 操作，因此它们可能会被异步调用。这带来了性能优势，因为您不必浪费时间等待外部服务的响应。如果您使用异步框架（如 FastAPI），这可能也很重要。
LangChain 支持对向量存储进行异步操作。所有方法都可以使用其异步对应项进行调用，前缀为 a，意思是 async。
Qdrant 是一个在线向量数据库，它支持所有异步操作，同时提供 API 和管理端，方便操作。
import asyncio
async def main():
# 异步初始化 Qdrant
db = await Qdrant.afrom_documents(
documents,
embeddings,
"http://localhost:6333"
)
query = "What did the president say about Ketanji Brown Jackson"
# 异步搜索
docs = await db.asimilarity_search(query)
# 或者使用向量搜索
embedding_vector = embeddings.embed_query(query)
docs = await db.asimilarity_search_by_vector(embedding_vector)
return docs
# asyncio.run(main())
最大边际相关性搜索（Maximum Marginal Relevance）是一种在信息检索和推荐系统中用于挑选结果的策略，旨在平衡查询项与已有结果集的相关性以及结果之间的多样性。
简单来说，MMR 不仅仅考虑单个结果与查询的相似度，还力求所选集合中的文档彼此不那么相似，以此来提高信息覆盖的全面性和减少重复信息。
MMR 通过结合两个指标来选择下一个最佳文档：
query = "What did the president say about Ketanji Brown Jackson"
# k: 返回数量，fetch_k: 初始检索数量，lambda_mult: 多样性权重 (0~1)
found_docs = await qdrant.amax_marginal_relevance_search(query, k=2, fetch_k=10, lambda_mult=0.5)
LangChain 中有一个 DistanceStrategy 枚举类，里面定义了开发者可以选择的相似度计算方式。选择合适的距离度量对于检索效果至关重要。
from langchain_community.vectorstores.utils import DistanceStrategy
class DistanceStrategy(str, Enum):
EUCLIDEAN_DISTANCE = "EUCLIDEAN_DISTANCE"
MAX_INNER_PRODUCT = "MAX_INNER_PRODUCT"
DOT_PRODUCT = "DOT_PRODUCT"
JACCARD = "JACCARD"
COSINE = "COSINE"
下面是每个参数的简要说明及适用场景：
这些参数的选择取决于具体的应用场景和需求，例如计算相似度的目的、数据的特性（如稀疏性、维度）等。如下所示配置：
# 省略部分代码...
db = FAISS.from_documents(
documents=documents,
embedding=embedding,
distance_strategy=DistanceStrategy.COSINE
)
在实际工程中，除了基础用法，还需要注意以下最佳实践：
默认的 CharacterTextSplitter 按字符数切分，但在处理代码或结构化文本时可能破坏语义。建议使用 RecursiveCharacterTextSplitter，它可以按不同层级的分隔符（如段落、句子、单词）递归切分，更好地保留上下文。
from langchain_text_splitters import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(
chunk_size=500,
chunk_overlap=50,
separators=["\n\n", "\n", " ", ""]
)
documents = splitter.split_documents(raw_documents)
在检索时，可以通过元数据过滤缩小范围。例如，只搜索特定年份或类型的文档。
from langchain.schema import Document
# 假设文档带有 metadata 字段
docs = db.similarity_search(
query="金融政策",
filter={"source": "./policy.txt"} # 仅搜索该来源的文档
)
| 向量库 | 类型 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| FAISS | 本地库 | 速度快，内存占用低，免费 | 不支持持久化存储，无服务端 | 原型开发，本地测试 |
| Qdrant | 云服务/本地 | 支持过滤，高性能，REST API | 需要部署维护 | 生产环境，复杂查询 |
| Chroma | 本地/云 | 易用，Python 友好，轻量 | 大规模并发能力较弱 | 小型项目，快速验证 |
| Pinecone | 云服务 | 托管服务，免运维，高可用 | 成本较高，闭源 | 企业级应用，高 SLA 要求 |
在使用 load_local 时，allow_dangerous_deserialization=True 允许加载任意 Python 对象，存在安全风险。在生产环境中，应确保加载的文件来源可信，或采用更安全的数据持久化方案。
为什么我们在大模型应用开发中需要 Vector Store？这里主要是 2 点原因：
掌握 Vector Stores 的使用是构建高质量 RAG 应用的基础。开发者应根据业务规模、延迟要求和预算，选择合适的向量存储后端，并结合文本切分、元数据过滤等技巧优化检索效果。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online