Chroma + Ollama + Llama 3.1 搭建本地知识库

构建向量知识库

创建 build_kb.py 脚本。这里要注意 Embedding 模型的加载逻辑，首次运行会自动下载约 1.3GB 的权重文件。

from langchain.document_loaders import DirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import Chroma
import os

# 1. 加载文档
loader = DirectoryLoader('./docs', glob="**/*.pdf", show_progress=True)
docs = loader.load()

# 2. 文本分块（按字符递归切分）
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n","\n","。","！","？","；"," ",""]
)
chunks = text_splitter.split_documents(docs)

# 3. 加载中文 Embedding 模型
# 注意：若无 GPU 请将 device 改为 'cpu'
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-large-zh-v1.5",
    model_kwargs={'device': 'cuda'}
)

# 4. 存入 Chroma 向量库（持久化到 ./chroma_db）
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)
vectorstore.persist()
print(f"✅ 知识库构建完成！共 {len(chunks)} 个片段")

运行脚本：

python build_kb.py

首次运行需下载模型，耗时约 10–30 分钟，后续秒级加载。

启动问答服务

创建 query_kb.py 进行 RAG 推理。记得提前拉取 Llama 3 模型。

ollama pull llama3:8b # 或 llama3:70b（需 48GB+ 内存）

from langchain.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.llms import Ollama
from langchain.chains import RetrievalQA

# 加载向量库
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-large-zh-v1.5")
vectorstore = Chroma(persist_directory="./chroma_db", embedding_function=embeddings)

# 初始化本地 LLM（Ollama 需提前 pull 模型）
llm = Ollama(model="llama3:8b", temperature=0.1)

# 构建 RAG 链
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(search_kwargs={"k":3}),
    return_source_documents=True
)

# 问答循环
while True:
    query = input("\n❓ 请输入问题（输入 'quit' 退出）: ")
    if query == "quit":
        break
    result = qa_chain({"query": query})
    print(f"\n💡 回答:\n{result['result']}")
    # 显示引用来源
    print("\n📚 参考片段:")
    for i, doc in enumerate(result["source_documents"]):
        print(f"[{i+1}] {doc.page_content[:100]}...")

运行问答：

python query_kb.py

安全与性能优化建议

隐私保护

所有数据仅在本地处理，不上传任何云服务。向量库文件（./chroma_db）可加密存储（如使用 gocryptfs）。

性能调优

中文增强

在 text_splitter 的 separators 中加入中文标点（已包含）。推荐使用 BGE-M3 模型（支持多语言 + 稀疏检索，2024 新 SOTA）。

验证知识库效果

测试用例

• 拒答能力：问'公司的股票代码是多少？'（若文档未提及），应回答'知识库中未找到相关信息'。
• 跨文档推理：问'对比 A 产品和 B 产品的技术参数'，应聚合多个文档信息。
• 事实性问题：问'根据文档，公司 2025 年战略目标是什么？'，应准确引用原文片段。

进阶扩展方向

总结

总耗时：环境搭建 < 30 分钟，知识库构建速度 ≈ 100 页/分钟（RTX 4090）。