基于 LangChain、本地 Llama3.1 与 Chroma 构建 RAG 增强生成系统

2. 向量化与存储

在存储嵌入之前，必须确保嵌入模型与后续查询时使用的模型一致。这里我们使用 Ollama 提供的嵌入功能。

from langchain.vectorstores import Chroma
from langchain.embeddings import OllamaEmbeddings

persist_directory = 'chroma_langchain_db_test'
model_name = "llama3.1"

def get_embedding():
    return OllamaEmbeddings(model=model_name)

# 创建向量数据库实例并持久化
vectordb = Chroma.from_documents(
    documents=texts,
    embedding=get_embedding(),
    persist_directory=persist_directory
)

# 将数据写入磁盘，以便后续重启程序时加载
vectordb.persist()

执行此过程后，项目根目录下会生成 chroma_langchain_db_test 文件夹，其中包含向量索引数据。

3. 查询与回答

查询阶段需要重新加载向量数据库实例，并初始化大模型。LangChain 的 VectorDBQA 链封装了检索和生成的逻辑。

from langchain_ollama.llms import OllamaLLM
from langchain.chains import VectorDBQA

# 初始化大模型
model = OllamaLLM(model=model_name)

# 加载已持久化的向量数据库
vectordb = Chroma(
    persist_directory=persist_directory,
    embedding_function=get_embedding()
)

# 创建 QA 链
# chain_type="stuff" 表示将所有检索到的上下文一次性放入提示词
qa = VectorDBQA.from_chain_type(
    llm=model,
    chain_type="stuff",
    vectorstore=vectordb
)

# 执行查询
query = "What did the president say about Ketanji Brown Jackson?"
result = qa.run(query)
print(result)

4. 完整代码示例

以下是整合后的完整脚本，可直接运行测试：

import os
from langchain.vectorstores import Chroma
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import OllamaEmbeddings
from langchain_ollama.llms import OllamaLLM
from langchain.chains import VectorDBQA
from langchain.document_loaders import TextLoader

# 配置参数
persist_directory = 'chroma_langchain_db_test'
model_name = "llama3.1"

def get_embedding():
    return OllamaEmbeddings(model=model_name)

def create_db():
    if not os.path.exists('doc'):
        print("请确保 doc 目录下存在 txt 文件")
        return
    
    loader = TextLoader('doc/state_of_the_union.txt', encoding='utf-8')
    documents = loader.load()
    
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
    texts = text_splitter.split_documents(documents)
   
    vectordb = Chroma.from_documents(
        documents=texts,
        embedding=get_embedding(),
        persist_directory=persist_directory
    )
    vectordb.persist()
    print("数据库创建完成")

def ask(query):
    model = OllamaLLM(model=model_name)
    vectordb = Chroma(
        persist_directory=persist_directory,
        embedding_function=get_embedding()
    )
    qa = VectorDBQA.from_chain_type(
        llm=model,
        chain_type="stuff",
        vectorstore=vectordb
    )
    result = qa.run(query)
    return result

if __name__ == "__main__":
    # 首次运行需创建数据库
    create_db()
    
    # 执行查询
    query = "What did the president say about Ketanji Brown Jackson?"
    r = ask(query)
    print(f"Query: {query}")
    print(f"Answer: {r}")

常见问题与优化建议

1. 嵌入模型不匹配

如果在创建数据库和查询时使用了不同的 Embedding 模型，向量空间将不一致，导致检索结果无效。务必保证 get_embedding() 函数中的模型名称一致。

2. 上下文窗口限制

如果检索到的文档片段总长度超过了 LLM 的最大上下文窗口，会导致报错或截断。可以通过调整 chunk_size 减小分块大小，或者使用 map_reduce 类型的 Chain 来处理长上下文。

3. 检索精度提升

默认的相似度搜索可能不够精准。可以考虑引入重排序（Re-ranking）机制，先粗排再精排。此外，调整 k 参数（检索返回的文档数量）也能影响结果质量。

4. 性能优化

本地部署虽然安全，但推理速度受限于硬件。建议使用 GPU 加速 Ollama 运行。对于大规模数据，Chroma 支持多种后端存储，可迁移至 PostgreSQL 以提升并发能力。

总结

通过本文的介绍，我们掌握了使用 LangChain、Llama3.1 和 Chroma 构建本地 RAG 系统的全流程。这种架构不仅保障了数据隐私，还降低了 API 调用成本。开发者可以根据实际需求进一步扩展功能，例如增加多模态支持、引入 Agent 智能体或对接更多数据源。随着本地大模型生态的成熟，私有化 RAG 将成为企业智能化转型的重要基础设施。

希望本教程能为您的 AI 项目开发提供有价值的参考。如有技术问题，欢迎查阅官方文档或社区讨论。