RAG 入门教程：LangChain 框架中的向量存储

OpenAIEmbeddings 是为了生成嵌入而创建的，ChatOpenAI 的实例是为了与 GPT-4 模型交互而创建的。

PyPDFLoader 从名为'book.pdf'的 PDF 文件中加载文本。加载的文本存储在变量 docs 中。

RecursiveCharacterTextSplitter 将加载的文本拆分为较小的块，每个块的最大大小为 1500 个字符，连续块之间有 150 个字符的重叠。该 split_documents 方法用于执行拆分，并将生成的文本块列表存储在 text_splits 中。

Chroma 向量存储

Chroma 是一个开源库，专为高效存储和查询向量嵌入而设计。它与 LangChain 集成良好，使其成为在该环境中使用嵌入的开发人员的热门选择。

安装依赖：

pip install chromadb

Chroma 优先考虑开发人员的易用性。它提供了一个简单的 API，其中包含添加、获取、更新和删除等常见数据库操作，以及基于相似性的查询功能。

from langchain.vectorstores import Chroma

persist_directory = "./data/db/chroma"

vectorstore = Chroma.from_documents(
    documents=text_splits,
    embedding=embeddings, 
    persist_directory=persist_directory
)

print(vectorstore._collection.count()) # 输出：6

persist_directory 是 Chroma 将持久存储其数据的路径。这可确保即使应用程序终止后数据仍然可用。

该 from_documents 方法采用以下参数：

• documents：要存储在向量存储中的文本文档（或文本拆分）列表。在本例中，text_splits 假定为先前从较大文档中拆分出来的文本块列表。
• embedding：用于为文档生成嵌入的嵌入模型。这应该是可以从文本生成嵌入的类的实例。
• persist_directory：矢量存储将在磁盘上保存其数据的目录。

执行查询示例：

query = "what is the purpose of the book?"

docs_resp = vectorstore.similarity_search(query=query, k=3)

print(len(docs_resp))
print(docs_resp[0].page_content)

vectorstore.persist()

该查询将用于在向量存储中搜索类似的文档。

该 similarity_search 方法采用以下参数：

• query：用于搜索类似文档的文本查询。
• k：要检索的最相似文档的数量。在本例中，k=3 表示将返回前 3 个最相似的文档。
• persist 方法使用创建向量存储时指定的当前状态保存到 vectorstore 磁盘的 persist_directory。

FAISS 向量存储

FAISS 是 Facebook AI Similarity Search 的缩写，是 Facebook 开发的一款功能强大的开源库，用于对高维向量进行高效的相似性搜索。

from langchain_community.vectorstores import FAISS

db = FAISS.from_documents(text_splits, embeddings)

print(db.index.ntotal) # 输出：6

docs = db.similarity_search(query)
print(docs[0].page_content)

db.save_local("faiss_index")

使用 HuggingFace Embeddings 构建 Faiss

可以加载本地 Embedding 模型构建 Faiss，适用于离线场景或自定义模型。

from langchain_huggingface import HuggingFaceEmbeddings
from langchain_community.vectorstores.faiss import FAISS
from langchain_core.documents import Document

documents = [
    Document(
        meta_data={'text': 'PC'},
        page_content='个人电脑',
    ),
    Document(
        meta_data={'text': 'doctor'},
        page_content='医生办公室',
    )
]
embedding_path = r'H:\pretrained_models\bert\english\paraphrase-multilingual-mpnet-base-v2'
embedding_model = HuggingFaceEmbeddings(model_name=embedding_path)
db = FAISS.from_documents(documents, embedding=embedding_model)

db.save_local('../.cache/faiss.index')

db = FAISS.load_local('../.cache/faiss.index', embeddings=embedding_model, index_name='index', allow_dangerous_deserialization=True)
docs = db.similarity_search_with_score('台式机电脑')
print(docs)

总结与选型建议

选择合适的向量存储取决于具体需求。Chroma 适合快速原型开发和轻量级应用，易于部署且无需额外服务。FAISS 则在大规模索引和高性能搜索方面表现优异，适合生产环境中的复杂检索任务。

在实际的 RAG 系统中，开发者应根据数据规模、延迟要求和基础设施限制来权衡选择。无论选择哪种存储，核心目标都是确保检索到的内容与用户查询高度相关，从而提升大模型回答的准确性和上下文理解能力。