如何利用 LangChain、FastAPI 和 Ollama 构建基于 RAG 技术的本地 AI 知识库助手。文章详细阐述了 RAG 的基本原理，提供了完整的技术栈配置指南，包括环境安装、Ollama 模型部署及向量数据库设置。核心部分展示了如何编写 Python 代码实现文档加载、切片、向量化检索及问答链路的搭建，并给出了 FastAPI 接口定义与前端调用示例。最终实现了支持私有文档问答的 AI 应用，解决了大模型无法访问私有数据的问题。
利用检索增强生成（RAG）技术，我们可以开发一个 AI 机器人，该机器人能够读取 Markdown 文本作为知识库，实现简单快捷的私有化问答。
大型语言模型（LLMs）是在一个大型但固定的数据语料库上进行训练的，这限制了它们对于私人或最新信息的推理能力。检索增强生成（RAG）已经成为一种流行且强大的机制，用于扩展 LLM 的知识库，通过从外部数据源检索的文档来通过上下文学习来支持 LLM 生成。
系统主要包含三个部分：
确保 Python 环境已就绪，创建虚拟环境并安装所需包。
pip install -r requirements.txt
requirements.txt 内容如下：
langchain==0.1.0
langchain-community==0.0.6
fastapi==0.109.0
uvicorn[standard]==0.27.0
python-dotenv==1.0.0
ollama==0.1.0
chromadb==0.4.22
获取你的 langchain API Key（如使用 OpenAI 或其他服务），并将其配置在 .env.example 环境变量中，复制为 .env 文件使其生效。
cp .env.example .env # MacOs or Linux
copy .env.example .env # Windows
.env 示例内容：
LANGCHAIN_API_KEY=your_api_key_here
OLLAMA_BASE_URL=http://localhost:11434
确保 Ollama 服务正在运行。
pip install ollama
ollama run mistral:latest
ollama list
检查模型列表确认 mistral:latest 已下载。
您可以随时更换 ./data/knowledge.md 知识库。这里选用了一本亚当斯密的《国富论》作为示例。
确保目录结构如下：
project_root/
├── main.py
├── requirements.txt
├── .env
├── data/
│ └── knowledge.md
└── vector_store/
└── (auto-generated)
main.py)以下是一个完整的 FastAPI 应用示例，集成了 LangChain 和 Ollama。
import os
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from dotenv import load_dotenv
from langchain_community.llms import Ollama
from langchain.chains import RetrievalQA
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import HuggingFaceEmbeddings
load_dotenv()
app = FastAPI(title="RAG Assistant")
# 配置路径
DATA_PATH = "./data/knowledge.md"
VECTOR_STORE_PATH = "./vector_store"
# 初始化加载器
loader = TextLoader(DATA_PATH, encoding='utf-8')
documents = loader.load()
# 文本分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = text_splitter.split_documents(documents)
# 初始化 Embedding 和 Vector Store
# 注意：Ollama 默认支持 embedding 模型，此处演示使用 HuggingFaceEmbeddings 或 OllamaEmbeddings
try:
from langchain_community.embeddings import OllamaEmbeddings
embeddings = OllamaEmbeddings(model="nomic-embed-text", base_url=os.getenv("OLLAMA_BASE_URL", "http://localhost:11434"))
except ImportError:
# 备用方案
embeddings = None
if embeddings:
db = Chroma.from_documents(chunks, embeddings, persist_directory=VECTOR_STORE_PATH)
:
Exception()
retriever = db.as_retriever(search_kwargs={: })
llm = Ollama(
model=,
temperature=,
base_url=os.getenv(, )
)
qa_chain = RetrievalQA.from_chain_type(
llm=llm,
chain_type=,
retriever=retriever,
return_source_documents=
)
():
question:
():
answer:
source_documents:
():
:
result = qa_chain({: request.question})
QueryResponse(
answer=result[],
source_documents=[doc.page_content doc result[]]
)
Exception e:
HTTPException(status_code=, detail=(e))
__name__ == :
uvicorn
uvicorn.run(app, host=, port=)
在项目根目录下运行：
uvicorn main:app --reload
服务将在 http://localhost:8000 启动。
可以使用 Postman 或 curl 进行测试：
curl -X POST 'http://localhost:8000/query' \
-H 'Content-Type: application/json' \
-d '{"question": "什么是国富论？"}'
HTML 文件可包含简单的 JS 请求，可以在此基础上进一步开发前端。
<script>
fetch('http://localhost:8000/query', {
method: 'POST',
headers: {'Content-Type': 'application/json'},
body: JSON.stringify({question: 'What is the wealth of nations?'})
}).then(res => res.json()).then(data => console.log(data.answer));
</script>
chunk_size 或使用更快的 Embedding 模型。temperature 参数至 0.1 以降低随机性。通过以上步骤，您就完成了一个基于 LangChain RAG 的本地 AI 小助手搭建。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online