基于 LangChain RAG 构建本地 AI 知识库助手

检查模型列表确认 mistral:latest 已下载。

知识库准备

您可以随时更换 ./data/knowledge.md 知识库。这里选用了一本亚当斯密的《国富论》作为示例。

确保目录结构如下：

project_root/
├── main.py
├── requirements.txt
├── .env
├── data/
│   └── knowledge.md
└── vector_store/
    └── (auto-generated)

核心代码实现

1. 初始化 LangChain 链 (main.py)

以下是一个完整的 FastAPI 应用示例，集成了 LangChain 和 Ollama。

import os
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from dotenv import load_dotenv
from langchain_community.llms import Ollama
from langchain.chains import RetrievalQA
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import HuggingFaceEmbeddings

load_dotenv()

app = FastAPI(title="RAG Assistant")

# 配置路径
DATA_PATH = "./data/knowledge.md"
VECTOR_STORE_PATH = "./vector_store"

# 初始化加载器
loader = TextLoader(DATA_PATH, encoding='utf-8')
documents = loader.load()

# 文本分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = text_splitter.split_documents(documents)

# 初始化 Embedding 和 Vector Store
# 注意：Ollama 默认支持 embedding 模型，此处演示使用 HuggingFaceEmbeddings 或 OllamaEmbeddings
try:
    from langchain_community.embeddings import OllamaEmbeddings
    embeddings = OllamaEmbeddings(model="nomic-embed-text", base_url=os.getenv("OLLAMA_BASE_URL", "http://localhost:11434"))
except ImportError:
    # 备用方案
    embeddings = None 

if embeddings:
    db = Chroma.from_documents(chunks, embeddings, persist_directory=VECTOR_STORE_PATH)
else:
    raise Exception("Embedding model not configured correctly.")

retriever = db.as_retriever(search_kwargs={"k": 3})

# 初始化 LLM
llm = Ollama(
    model="mistral",
    temperature=0.7,
    base_url=os.getenv("OLLAMA_BASE_URL", "http://localhost:11434")
)

# 初始化 QA Chain
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True
)

class QueryRequest(BaseModel):
    question: str

class QueryResponse(BaseModel):
    answer: str
    source_documents: list

@app.post("/query", response_model=QueryResponse)
async def query(request: QueryRequest):
    try:
        result = qa_chain({"query": request.question})
        return QueryResponse(
            answer=result["result"],
            source_documents=[doc.page_content for doc in result["source_documents"]]
        )
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

启动程序

在项目根目录下运行：

uvicorn main:app --reload

服务将在 http://localhost:8000 启动。

测试接口

可以使用 Postman 或 curl 进行测试：

curl -X POST 'http://localhost:8000/query' \
     -H 'Content-Type: application/json' \
     -d '{"question": "什么是国富论？"}'

前端集成建议

HTML 文件可包含简单的 JS 请求，可以在此基础上进一步开发前端。

<script>
fetch('http://localhost:8000/query', {
  method: 'POST',
  headers: {'Content-Type': 'application/json'},
  body: JSON.stringify({question: 'What is the wealth of nations?'})
}).then(res => res.json()).then(data => console.log(data.answer));
</script>

常见问题与优化

1. 响应速度慢：尝试减小 chunk_size 或使用更快的 Embedding 模型。
2. 幻觉问题：调整 temperature 参数至 0.1 以降低随机性。
3. 知识更新：重新运行初始化脚本以更新向量数据库。

通过以上步骤，您就完成了一个基于 LangChain RAG 的本地 AI 小助手搭建。