跑通本地知识库：Chroma + Ollama + Llama 3.1 实操记录

运行：

python build_kb.py

首次运行要下载模型权重（约 1.3GB），需要 10–30 分钟；之后秒级加载。

启动问答服务

先拉取 Llama 3 模型：

ollama pull llama3:8b  # 如果机器内存 48GB+ 可以考虑 llama3:70b

然后创建 query_kb.py，弄个死循环接收问题，输出答案和引用片段。

from langchain.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.llms import Ollama
from langchain.chains import RetrievalQA

# 加载向量库
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-large-zh-v1.5")
vectorstore = Chroma(persist_directory="./chroma_db", embedding_function=embeddings)

# 初始化本地 LLM
llm = Ollama(model="llama3:8b", temperature=0.1)

# 构建 RAG 链
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(search_kwargs={"k":3}),
    return_source_documents=True
)

# 问答循环
while True:
    query = input("\n❓ 请输入问题（输入 'quit' 退出）: ")
    if query == "quit":
        break
    result = qa_chain({"query": query})
    print(f"\n💡 回答:\n{result['result']}")
    # 显示引用来源
    print("\n📚 参考片段:")
    for i, doc in enumerate(result["source_documents"]):
        print(f"[{i+1}] {doc.page_content[:100]}...")

运行：

python query_kb.py

几点优化想法

隐私

数据全在本地，不碰任何云服务。向量库文件 ./chroma_db 可以进一步用 gocryptfs 加密。

遇到性能瓶颈时

中文专项

分块时已经把中文标点加进了分隔符列表。另外推荐 BGE-M3 新模型，支持多语言和稀疏检索，不过我现在还没换，bge-large 跑得挺好。

效果验证

我拿几个场景测了一下：

• 拒答能力：问'公司股票代码多少？'（文档里压根没有），回答会提示找不到相关信息。
• 跨文档推理：让对比两个产品参数，能聚合多份文档的内容。
• 事实性引用：问'2025 年战略目标'，回答里带原文片段。

扩展方向

• 套个 Web 界面：用 Gradio 或 Streamlit 几分钟就能搭起来。
• 增量更新：监听 ./docs 目录，文件变动自动重建向量。
• 多模态：用 Donut 解析 PDF 表格，转成结构化文本再入库。
• Agent 能力：接入 LangGraph 实现多跳推理。

整套下来，从环境搭建到能回答问题，不超过半小时。知识库构建速度在 RTX 4090 上大概每分钟 100 页，普通机器会慢一些，但仍在可接受范围内。